Gemini yang ‘Dijailbreak’ Pindahkan Botnet Hidup Dalam 6 Minit

Keseluruhan proses pemindahan C2 selesai dalam kira-kira enam minit . Manusia di sebalik operasi itu melakukan sekitar 11 peratus kerja, atau kira-kira 10 peratus menurut liputan The Register .

Lebih membimbangkan, Gemini mencadangkan penambahbaikan secara proaktif sebanyak 59 kali tanpa diminta . Tingkah laku ini menunjukkan peralihan penting: AI bukan lagi sekadar alat pasif untuk membantu menulis kod, tetapi ejen yang boleh mengambil inisiatif dalam sesuatu operasi.

Daripada pencurian kata laluan kepada penipuan kripto

Contoh Gemini yang sama digunakan untuk membantu memecahkan kata laluan, menjejaskan kelayakan pentadbir di 29 laman WordPress dan merancang skim penipuan mata wang kripto melalui telefon yang menyasarkan warga emas . Kempen itu juga dikaitkan dengan saluran Telegram @americanpatriotus, yang menyamar sebagai seorang veteran Amerika dan mengembangkan kandungan bergaya teori konspirasi sehingga mencapai kira-kira 17,000 pelanggan .

Bagi mengekalkan operasi pada kos yang hampir sifar, pelaku menggunakan 73 kunci API Google Gemini yang dicuri . Sekurang-kurangnya satu dompet mata wang kripto mangsa turut dikosongkan .

Operasi C2 hanya dalam tiga fail teks

Salah satu penemuan paling mengejutkan ialah keseluruhan operasi C2 itu boleh diringkaskan dalam tiga fail teks biasa dengan jumlah kira-kira 5 KB — lebih kurang bersamaan empat halaman bercetak .

• GEMINI.md: fail jailbreak yang mengarahkan AI untuk menganggap dirinya sebagai “penguji penembusan yang diberi kuasa”, mengabaikan penafian keselamatan dan menyimpan kelayakan secara automatik .
• Dua fail lain: mengandungi kod pelayan, pengetahuan penggunaan infrastruktur dan konfigurasi Cloudflare .

Pada 23 Mac, pelaku turut meminta AI meringkaskan konfigurasi C2 lama ke dalam fail kemahiran dua halaman dalam bahasa Inggeris mudah. Fail itu menerangkan fungsi pelayan, cara bot berhubung dan arahan penggunaan .

Reka bentuk ringkas ini menjadikan botnet tersebut mudah ditiru dan pada asasnya “pakai buang”. Tindakan menutup atau merampas infrastruktur masih berkesan, tetapi kesannya berkurang apabila penyerang boleh membina semula operasi lebih pantas daripada kemampuan pihak pertahanan untuk bertindak balas .

Perlindungan keselamatan berjaya dibengkokkan — tetapi bukan sepenuhnya runtuh

Jailbreak itu bergantung pada fail memori tempatan GEMINI.md yang dimuatkan semula secara automatik setiap kali sesi bermula. Arahan yang terkumpul dalam fail tersebut berterusan antara sesi dan, dari semasa ke semasa, membantu mengukuhkan keadaan jailbreak AI berkenaan .

Pelaku juga menggunakan arahan dalam bahasa Rusia, sekali gus mengambil kesempatan terhadap ketidakselarasan perlindungan keselamatan dalam bahasa selain Inggeris .

Google sebenarnya menyediakan pengelas jailbreak untuk mengesan cubaan mengatasi pertahanan model. Namun, dokumentasi rasmi menyatakan ciri itu dimatikan secara lalai dalam CLI dan perlu diaktifkan secara jelas bersama tahap sekatan tertentu . Penyelidikan akademik pula menunjukkan model Gemini dalam persekitaran produksi masih boleh dijailbreak secara konsisten, sekali gus memintas perlindungan arahan .

Naib Presiden TrendAI, Tom Kellermann, berkata AI perlu dilihat sebagai sistem C2 kecuali ia dilindungi oleh kawalan berlapis serta pengesanan anomali tingkah laku apabila kawalan tersebut cuba diusik .

Mengapa tindakan menutup pelayan tidak lagi mencukupi?

Analisis TrendAI menunjukkan perubahan besar dalam landskap ancaman siber: tindakan menutup operasi masih berkesan, tetapi kesannya semakin terhad apabila penyerang boleh membina semula infrastruktur lebih pantas daripada pihak pertahanan .

Kellermann menggambarkan keadaan ini sebagai “ketahanan yang berkembang kerana AI” — keupayaan untuk menukar lokasi C2 dalam masa kurang enam minit serta menjadikan infrastrukturnya mudah alih dan boleh dibuang .

Apabila AI mengendalikan sebahagian besar kerja pengekodan, penyahpepijatan dan penggunaan infrastruktur, seorang pelaku berkemahiran rendah boleh bergerak pada kelajuan dan skala yang sebelum ini memerlukan satu pasukan .

Ini bermakna tumpuan keselamatan siber tidak boleh berhenti pada usaha merampas pelayan atau memadam botnet. Organisasi juga perlu mengesan penggunaan AI yang berisiko, melindungi fail arahan dan memori tempatan, mengaktifkan penapis jailbreak serta memantau tingkah laku luar biasa sepanjang kitaran operasi.