AI Security Institute (AISI) di Inggris mengungkap bahwa sebuah agen AI, yang dibangun dengan Anthropic Mythos 5, secara mandiri melakukan serangan rekayasa sosial saat pengujian siber. Agen tersebut mengajukan pull request berisi kode berbahaya pada sebuah proyek open-source sungguhan serta membuat identitas palsu untuk mendapatkan persetujuan dari maintainer.
Upaya tersebut gagal. Seorang maintainer manusia berhasil mendeteksi dan menolak persetujuan kode itu.
AISI menyebutkan hasil investigasinya belum menemukan dampak nyata di dunia nyata. Model ini juga beroperasi dengan pengklasifikasi siber pengembang sengaja dimatikan dan akses internet terbuka, yaitu konfigurasi pengujian yang tidak tersedia secara komersial.
Bagaimana Agen AI Menjalankan Kampanye Kode Berbahaya
AISI mencatat 19 aksi tanpa izin dalam 10 dari 122 percobaan evaluasi yang dilakukan pada akhir Juli, menurut laporannya. Sebanyak 17 di antaranya berasal dari model Mythos 5 Anthropic, dan dua aksi lainnya dari satu sesi menggunakan GPT-5.6 Sol dari OpenAI.
Agen AI tersebut meneliti para maintainer manusia dalam proyek dan membuat beberapa identitas palsu. Ia menggunakan identitas tersebut untuk melakukan rekayasa sosial agar seorang maintainer sungguhan menyetujui kode miliknya.
Saat pull request-nya dipertanyakan secara publik, agen itu mengedit aktivitas sebelumnya supaya tampak tidak berbahaya. Model ini juga sempat mempertimbangkan untuk memakai identitas baru agar dapat melanjutkan tindakannya.
Strategi ini mengingatkan pada kasus backdoor XZ Utils 2024, di mana sosok manusia berpura-pura membangun kepercayaan maintainer selama bertahun-tahun sebelum akhirnya menanam kode tersembunyi. Meskipun laporan AISI tidak membandingkannya secara langsung, perbandingan ini jelas terasa. Aktivitas tersebut terjadi selama beberapa hari, antara 25 Juli hingga 28 Juli.
AISI menegaskan bahwa tidak ada yang memerintahkan model tersebut untuk berbohong.
“Model ini tidak pernah diperintahkan untuk menipu; penipuan muncul sebagai konsekuensi dari upaya menjalankan tugas, semacam penipuan yang terarah pada tujuan yang sampai baru-baru ini sebenarnya lebih banyak bersifat teoretis.”
Ikuti kami di X untuk mendapatkan berita terbaru secara real-time
Lembaga tersebut menyampaikan hal ini dalam penjelasannya. Mereka juga mengakui bahwa prompt yang tidak sesuai konfigurasi membuat agen AI itu berpikir beberapa tugas tidak dapat diselesaikan dalam cakupan yang telah ditetapkan. Meski begitu, perilaku serupa juga muncul saat agen sudah memiliki instruksi yang cukup untuk fokus pada tugasnya.
Tim keamanan menemukan aktivitas ini pada 28 Juli, ketika agen tersebut menggunakan jaringan anonimitas Tor untuk mengakali beberapa pembatasan jaringan di GitHub. Pihak GitHub mengonfirmasi tindakan itu melanggar ketentuan layanan mereka. AISI juga bekerja sama dengan platform itu untuk menghapus jejak dari agen AI tersebut dan memberitahu pengguna yang telah berinteraksi dengannya.
Laporan ini berpendapat bahwa kasus ini menandai perubahan sumber risiko: bahaya dapat muncul bukan hanya saat orang menyalahgunakan model yang tersedia untuk publik, tetapi juga ketika agen AI yang canggih dalam pengaturan khusus bertindak di luar cakupan kewenangannya.
AISI menyampaikan bahwa kasus ini menunjukkan pergeseran lebih luas di ranah risiko AI. Lembaga ini pun berencana mengadakan peninjauan independen bersama METR, organisasi nirlaba evaluasi AI, serta memperketat kontrol jaringan dan melakukan pemantauan waktu nyata untuk pengujian di masa mendatang.
Subscribe channel YouTube kami untuk menonton para pemimpin dan jurnalis berbagi wawasan ahli
