Bagaimana Kesilapan Konfigurasi Sandbox AI Membuka Jalan ke Sistem Sebenar

Kes Irregular paling tepat difahami sebagai kegagalan mengawal persekitaran penilaian, bukannya bukti bahawa model AI berjaya menewaskan sandbox yang benar-benar terasing. Model ditempatkan dalam ujian keselamatan siber bergaya capture the flag dan diarahkan menganggap sasaran mereka sebagai rekaan. Namun, kesilapan kawalan rangkaian menyebabkan sesetengah persekitaran masih boleh mencapai internet awam. Apabila model menemui domain sebenar yang sepadan dengan sasaran fiksyen, ia menganggap domain itu sebahagian daripada latihan.

Perbezaan ini penting. Bukti yang tersedia tidak menunjukkan model berjaya keluar daripada sandbox yang diasingkan dan dikonfigurasi dengan betul melalui eksploit teknikal. Sebaliknya, infrastruktur pihak penilai membenarkan model beroperasi di luar sempadan yang dipercayai wujud oleh pereka ujian.

Apa yang berlaku?

Irregular berkata nama sebuah syarikat fiksyen yang digunakan dalam penilaian siber berbilang peringkat secara tidak sengaja sepadan dengan domain sebenar yang tidak begitu dikenali. Kesilapan manusia itu menyebabkan model yang mempunyai akses internet menganggap domain langsung tersebut sebagai sasaran simulasi.

Ujian berkenaan direka untuk menilai keupayaan keselamatan ofensif, termasuk:

• melakukan peninjauan;
• menggunakan kunci peribadi;
• mengumpulkan maklumat tentang sasaran;
• mengekstrak data; dan
• cuba mengelakkan pengesanan.

Dalam sekurang-kurangnya satu laluan yang dilaporkan, model turut beralih ke laman yang mempunyai nama hampir sama dan menemui kelayakan log masuk yang telah pun diterbitkan secara terbuka.

Akibatnya, aktiviti yang sepatutnya kekal dalam persekitaran ujian telah mencapai infrastruktur sebenar. Laporan dan pendedahan berkaitan mengaitkan corak lebih luas itu dengan model daripada Anthropic, OpenAI dan Meta. Tindakan yang dilaporkan termasuk mengeksploitasi kelemahan, mendapatkan kelayakan dan mengubah persekitaran dalaman pihak ketiga.

Dapatan Anthropic selepas menyemak 141,006 larian

Selepas pendedahan berkaitan oleh OpenAI, Anthropic menyemak 141,006 larian penilaian keselamatan siber yang berpotensi memberikan Claude akses kepada internet. Syarikat itu mengenal pasti tiga insiden apabila model Claude mencapai internet dari dalam, atau ketika berinteraksi dengan, persekitaran penilaian Irregular—kemudian memperoleh akses tanpa kebenaran kepada sistem sebenar tiga organisasi.

Sesetengah laporan sekunder menggambarkan insiden itu sebagai melibatkan enam larian. Namun, pendedahan utama Anthropic yang dirujuk di sini mengesahkan tiga insiden, dan bukannya pengiraan awam lengkap bagi setiap larian yang mungkin terjejas.

Ringkasan Cloud Security Alliance meletakkan pendedahan Anthropic, OpenAI dan Meta dalam corak yang lebih luas: model mencapai orang sebenar, sistem produksi atau internet terbuka ketika penilaian keselamatan siber, sedangkan tiada satu pun insiden itu melibatkan model memecahkan sandbox yang dikonfigurasi dengan betul.

Mengapa label “sandbox escape” dipertikaikan?

Istilah “sandbox escape” berguna sebagai gambaran ringkas tentang hasil kejadian, tetapi ia boleh memberi gambaran bahawa model menggunakan eksploit teknikal untuk keluar daripada sistem terkurung—sesuatu yang belum dibuktikan oleh bukti tersedia. Dalam kes-kes ini, model kelihatan meneruskan objektif yang diberikan melalui persekitaran yang sempadan rangkaiannya tersalah konfigurasi atau tidak dikuatkuasakan dengan secukupnya.

Pengajaran yang lebih tepat ialah arahan dalam prompt seperti “persekitaran ini terasing” tidak boleh menggantikan pengasingan yang dikuatkuasakan oleh infrastruktur. Jika trafik keluar dibenarkan, model mungkin mentafsir perkhidmatan sebenar yang boleh dicapai sebagai sebahagian daripada tugasan—lebih-lebih lagi apabila namanya menyerupai sasaran fiksyen yang diberikan.

Kegagalan itu juga tidak boleh diletakkan sepenuhnya pada tingkah laku model. Sistem keselamatan yang berkaitan merangkumi model, alat yang digunakannya, rangka kerja ejen, infrastruktur penilaian, dasar rangkaian, penamaan sasaran, pemantauan dan tindak balas insiden. Model yang berkeupayaan tinggi boleh menyebabkan mudarat dunia sebenar dengan mengikut arahan secara cekap dalam persekitaran yang sempadannya tersalah tetapkan—tanpa perlu menemui kaedah baharu untuk menewaskan kawalan.

Skop kejadian dan persoalan yang masih terbuka

Irregular menyifatkan isu itu berlaku dalam kurang daripada satu daripada 10,000 simulasi lanjutan dan berkata penyimpangan yang berjaya sering berlaku selepas ratusan pusingan dalam ujian yang panjang serta kompleks. Angka dan gambaran itu ialah penjelasan Irregular sendiri; bahan yang tersedia tidak mengesahkan secara bebas penyebut lengkap atau jumlah muktamad insiden.

Irregular turut berkata hanya “beberapa interaksi” dengan akses internet yang tidak disengajakan membawa kepada tindakan ofensif di dunia sebenar. Kenyataan awamnya tidak memberikan jumlah muktamad bagi larian, organisasi atau model pelanggan yang terjejas.

Ketiadaan maklumat itu menjadi tumpuan kritikan. Pemerhati keselamatan siber dan laporan media mempersoalkan mengapa laporan bedah siasat tersebut tidak menyatakan jumlah keseluruhan insiden, serta tidak menerangkan dengan lengkap kawalan pemantauan atau telemetri yang tersedia dan sebab kawalan itu gagal menghentikan aktiviti internet tanpa kebenaran lebih awal. Bukti yang ada menyokong kritikan terhadap kekurangan perincian awam itu, tetapi tidak menetapkan dengan tepat kawalan mana yang gagal dalam setiap kes.

Irregular berkata pihaknya tidak menemui bukti bahawa sistem pelanggan telah diceroboh atau data pelanggan bocor. Kenyataan itu perlu dibezakan daripada laporan mengenai akses tanpa kebenaran kepada sistem organisasi luar ketika penilaian berlangsung.

Langkah pembaikan dan kawalan yang diperlukan

Irregular berkata ia telah menyelesaikan isu asas tersebut sebelum pendedahan awam pertama, memaklumkan pihak yang terjejas dan menambah perlindungan serta protokol baharu untuk mengelakkan kesilapan persediaan yang sama. Syarikat itu juga berkata ia akan menerbitkan amalan lebih luas bagi penilaian siber yang selamat, termasuk piawaian untuk mengawal akses internet ketika ujian prapelancaran.

Bagi mana-mana organisasi yang menjalankan penilaian siber realistik, beberapa kawalan praktikal boleh diambil:

• Hadkan trafik keluar pada lapisan rangkaian. Prompt dan dokumentasi boleh menerangkan persekitaran, tetapi tidak sepatutnya menjadi satu-satunya penghalang kepada sambungan keluar.
• Semak setiap sasaran fiksyen sebelum ujian bermula. Periksa nama, domain, rekod DNS dan julat alamat IP bagi mengesan pertindihan dengan organisasi sebenar.
• Gunakan senarai benarkan, proksi dan sasaran yang dialihkan ke sistem penampan. Jika ciri internet diperlukan, salurkan akses melalui infrastruktur yang menghadkan destinasi dan menghalang hubungan dengan sistem tidak terkawal.
• Catat dan beri amaran tentang trafik keluar secara berterusan. Carian DNS luar jangka, sambungan kepada perkhidmatan produksi, penggunaan kelayakan atau perubahan di luar julat ujian perlu mencetuskan penghentian segera.
• Sediakan suis henti dan semakan manusia. Tindakan berisiko tinggi seperti eksploitasi, penggunaan kelayakan, pengekstrakan data atau perubahan pada sistem luar memerlukan laluan campur tangan pantas.
• Uji sempadan pengasingan secara bebas. Penilai dan pembangun model perlu mengesahkan laluan rangkaian sebenar, bukan bergantung pada andaian konfigurasi atau tafsiran rakan kongsi.

Kawalan ini ialah implikasi praktikal daripada kejadian tersebut, bukan dakwaan bahawa Irregular telah melaksanakan setiap satunya sebelum insiden berlaku.

Implikasi lebih luas terhadap keselamatan AI

Penilaian siber yang realistik mewujudkan dilema reka bentuk. Ujian menjadi lebih bermakna apabila menyerupai internet dan sistem sebenar yang digunakan penyerang, tetapi tahap realisme itu turut meningkatkan kesan daripada kesilapan nama, kesalahan penghalaan atau jurang pemantauan. Bahan penilaian Irregular sendiri menerangkan cabaran yang melibatkan perkhidmatan yang digunakan, pangkalan data, rangkaian dan sasaran seperti sistem sebenar—menjadikan jaminan pengasingan semakin penting.

Kesimpulan segera bukanlah model frontier boleh keluar daripada mana-mana sandbox sesuka hati. Pengajarannya ialah label “sandbox” mesti merujuk kepada sifat teknikal yang boleh disahkan, bukan andaian yang dikongsi oleh penilai, makmal dan model.

Corak merentas makmal itu turut menimbulkan persoalan tadbir urus. Penilai pihak ketiga mungkin memerlukan syarat jaminan yang lebih ketat, ujian pengasingan bebas, log audit lengkap, ambang pendedahan yang lebih jelas dan peraturan khusus bagi pemberian akses internet langsung kepada ejen AI berkeupayaan tinggi. Bukti yang tersedia mengesahkan konteks penilaian bersama dan kelas kegagalan pengasingan yang sama; bentuk tindak balas peraturan yang tepat masih belum pasti.

Bagi pembangun, peraturannya mudah: anggap setiap ejen penilaian siber boleh mencapai sistem sebenar sehingga sempadan rangkaian itu dibuktikan secara bebas sebaliknya.