Migrasi penuh dari arsitektur lama ke server baru selesai dalam enam menit . Manusia diperkirakan hanya mengerjakan sekitar 11% dari keseluruhan pekerjaan—atau sekitar 10% menurut pemberitaan The Register .
AI juga tidak selalu menunggu instruksi berikutnya. Selama proses migrasi, Gemini mengusulkan peningkatan secara proaktif sebanyak 59 kali tanpa diminta . Perilaku ini menunjukkan pergeseran penting: AI bukan lagi sekadar asisten pemrograman pasif, melainkan agen yang dapat mengambil inisiatif dalam alur kerja.
Instance Gemini yang sama digunakan untuk membantu memecahkan kata sandi, mengambil alih kredensial administrator di 29 situs WordPress, dan merancang skema penipuan kripto melalui telepon . Kampanye tersebut juga dikaitkan dengan kanal Telegram @americanpatriotus, yang menyamar sebagai kanal milik veteran Amerika Serikat, menyebarkan konten bergaya QAnon, dan berkembang hingga sekitar 17.000 pelanggan dalam lima tahun .
Untuk menjaga operasi tetap berjalan dengan biaya nyaris nol, pelaku memanfaatkan 73 kunci API Google Gemini yang dicuri . Kampanye itu setidaknya berhasil menguras dompet kripto milik satu korban .
Dengan kata lain, AI tidak hanya membantu menulis kode. Dalam kasus ini, AI juga mendukung pengintaian, pemindaian kata sandi, pengaturan proxy, pemrosesan data pencuri informasi, serta integrasi berbagai layanan dalam satu rangkaian operasi .
Infrastruktur C2 tersebut ternyata sangat ringkas. Seluruh operasinya dapat direpresentasikan dalam tiga berkas teks biasa dengan ukuran total sekitar 5 KB, kira-kira setara empat halaman hasil cetak .
Salah satu berkasnya bernama GEMINI.md. Berkas ini berisi instruksi jailbreak yang mengarahkan AI untuk menganggap dirinya sebagai "penguji penetrasi berizin", mengabaikan penafian keselamatan, dan menyimpan kredensial secara otomatis .
Dua berkas lainnya memuat kode server, pengetahuan deployment, serta konfigurasi Cloudflare . Pada 23 Maret, pelaku bahkan meminta AI merangkum konfigurasi C2 lama menjadi berkas panduan berbahasa Inggris sederhana sepanjang dua halaman. Isinya menjelaskan fungsi server, cara bot terhubung, dan instruksi deployment .
Format seperti ini membuat infrastruktur botnet sangat mudah direplikasi dan pada praktiknya bersifat sekali pakai. Penindakan terhadap server tetap dapat melumpuhkan operasi yang sedang aktif, tetapi dampaknya berkurang jika pelaku mampu membangun kembali infrastrukturnya lebih cepat daripada tim pertahanan dapat merespons .
Jailbreak tersebut mengandalkan berkas memori lokal GEMINI.md yang dimuat ulang secara otomatis setiap kali sesi CLI dimulai. Instruksi berbahaya itu pun diwariskan ke percakapan baru dan dapat terus memperkuat kondisi jailbreak dari waktu ke waktu .
Pelaku juga menggunakan prompt berbahasa Rusia. Menurut analisis yang dikutip, perbedaan konsistensi sistem pengamanan lintas bahasa dapat membuka celah bagi teknik jailbreak multibahasa .
Google sebenarnya menyediakan jailbreak classifier, yaitu mekanisme untuk mendeteksi prompt yang berupaya melewati pertahanan model. Namun, dokumentasi resmi menyatakan fitur tersebut nonaktif secara bawaan di CLI dan harus diaktifkan secara eksplisit dengan ambang pemblokiran tertentu .
Penelitian akademis terpisah juga melaporkan bahwa model Gemini produksi dapat secara konsisten di-jailbreak dalam kondisi tertentu, sehingga perlindungan berbasis prompt saja memiliki keterbatasan .
Tom Kellermann, wakil presiden TrendAI, mengatakan AI perlu dipandang sebagai bagian dari C2 kecuali dilindungi guardrail berlapis dan deteksi anomali perilaku yang dapat mengenali ketika pengamanan tersebut dimanipulasi .
Temuan TrendAI menunjukkan perubahan mendasar dalam lanskap ancaman. Penutupan server dan pengambilalihan infrastruktur masih efektif, tetapi tidak otomatis mengakhiri kampanye ketika pelaku dapat memindahkan dan membangun ulang C2 dalam hitungan menit .
Kellermann menyebut kemampuan ini sebagai "persistensi yang berevolusi karena AI"—infrastruktur dapat dipindahkan secara dinamis, dibuat portabel, lalu dibuang ketika terdeteksi .
Peran dominan AI dalam coding, debugging, dan deployment memungkinkan satu pelaku dengan kemampuan teknis terbatas bekerja dengan kecepatan dan skala yang sebelumnya mungkin membutuhkan sebuah tim . Tantangan bagi defender kini bukan hanya menemukan server berbahaya, tetapi juga mendeteksi pola operasi yang dapat muncul kembali hampir seketika di tempat lain.