Krisis Keamanan AI: Agen Otonom Berhasil Bobol Infrastruktur Hugging Face, 17.000 Serangan dalam Satu Akhir Pekan

Apa yang Terjadi: Pelanggaran oleh Agen AI Otonom

Hugging Face mendeteksi intrusi ke infrastruktur produksinya selama akhir pekan. Serangan ini sepenuhnya digerakkan oleh sistem agen AI otonom—sebuah kerangka kerja agen AI yang beroperasi dalam kawanan sandbox berumur pendek yang mengeksekusi lebih dari 17.000 peristiwa tercatat di berbagai sistem internal . Perusahaan mendeteksi dan menganalisis insiden tersebut sebagian besar dengan alat berbasis AI mereka sendiri .

Yang terpenting, Hugging Face menemukan tidak ada bukti gangguan pada model, kumpulan data, atau Spaces yang bersifat publik dan menghadap pengguna, dan rantai pasokan perangkat lunak (gambar container dan paket yang diterbitkan) tetap utuh . Pelanggaran terbatas pada serangkaian dataset internal dan kredensial layanan .

Cara Penyerang Beroperasi: Mengeksploitasi Pipeline Dataset

Intrusi dimulai di pipeline pemrosesan data Hugging Face . Penyerang menggunakan dataset berbahaya yang mengeksploitasi dua jalur eksekusi kode:

• Pemuat dataset kode jarak jauh yang memungkinkan eksekusi kode arbitrer.
• Kerentanan injeksi template dalam konfigurasi dataset .

Setelah penyerang berhasil mengeksekusi kode pada pekerja pemrosesan, mereka meningkatkan akses ke tingkat node, mengumpulkan kredensial cloud dan cluster, dan bergerak secara lateral ke beberapa cluster internal .

Seluruh kampanye diatur oleh kerangka kerja agen otonom. Meskipun LLM spesifik yang mendukung agen penyerang tidak diketahui, agen tersebut beroperasi di seluruh kawanan sandbox sementara dengan struktur command-and-control yang bermigrasi sendiri dan dipentaskan di layanan publik .

Tantangan Tidak Biasa: Guardrails LLM Komersial Menghalangi Pembela

Ketika tim keamanan Hugging Face mulai menganalisis log peristiwa penyerang (17.000+ peristiwa), mereka pertama-tama beralih ke model frontier di balik API komersial. Upaya tersebut gagal karena guardrails keamanan penyedia memblokir analisis . Guardrails tidak dapat membedakan antara responden insiden yang sah yang mengirimkan payload eksploitasi dan artefak command-and-control dengan penyerang yang sebenarnya .

Hugging Face terpaksa mengalihkan seluruh analisis forensiknya ke GLM 5.2, model open-weight yang dijalankan di infrastruktur mereka sendiri . Ini memiliki manfaat tambahan untuk memastikan tidak ada data penyerang atau kredensial yang dirujuk meninggalkan lingkungan mereka .

"Pelajaran praktis bagi para pembela: miliki model yang mumpuni yang dapat Anda jalankan di infrastruktur Anda sendiri yang telah divalidasi dan siap sebelum insiden terjadi, baik untuk menghindari lockout guardrail maupun untuk menjaga data dan kredensial penyerang agar tidak meninggalkan lingkungan Anda."

Perusahaan menyoroti ketidakseimbangan kritis: mereka tidak tahu model mana yang mendukung agen penyerang, tetapi apakah itu model yang di-jailbreak atau model open-weight tanpa batasan, "penyerang tidak terikat oleh kebijakan penggunaan apa pun, sementara pekerjaan forensik kami sendiri diblokir oleh guardrails dari model yang di-host yang pertama kali kami coba" .

Tindakan Respons yang Diambil

Hugging Face mengambil tindakan respons berikut, yang dirinci dalam pengungkapan insiden keamanan mereka :

• Memperbaiki kerentanan akar: dua jalur eksekusi kode dataset yang digunakan untuk akses awal telah ditutup.
• Memberantas pijakan penyerang di seluruh cluster yang terkena dampak dan membangun kembali node yang disusupi.
• Mencabut dan merotasi kredensial dan token yang terpengaruh, dan memulai rotasi rahasia yang lebih luas sebagai tindakan pencegahan.
• Menerapkan guardrails tambahan dan kontrol penerimaan yang lebih ketat pada cluster mereka.
• Meningkatkan deteksi dan pemberitahuan sehingga sinyal tingkat keparahan tinggi dapat menghubungi responden dalam hitungan menit, setiap hari dalam seminggu.
• Melibatkan spesialis forensik keamanan siber eksternal untuk menyelidiki dan meninjau kebijakan keamanan.
• Melaporkan insiden tersebut ke aparat penegak hukum.

Perusahaan juga merekomendasikan agar anggota komunitas merotasi token akses apa pun dan meninjau aktivitas akun baru-baru ini sebagai tindakan pencegahan .