Keracunan memori menjadikan ingatan ejen AI sasaran serangan tertangguh

Memori berterusan menjadikan ejen AI lebih berguna. Ia boleh mengingati pilihan pengguna, kerja terdahulu, prosedur dan konteks antara tugasan. Namun, ciri yang sama juga mewujudkan masalah keselamatan tersendiri: jika kandungan tidak dipercayai tersimpan sebagai memori, penyerang tidak semestinya perlu mencetuskan kegagalan serta-merta. Mereka boleh menunggu sehingga ejen mengambil semula rekod yang telah dicemari itu dalam tugasan lain yang kelihatan tidak berkaitan. 15

Bagaimana serangan keracunan memori yang tertangguh berlaku

Keracunan memori ialah serangan terhadap integriti maklumat yang kemudiannya dianggap ejen sebagai sebahagian daripada pengetahuan terkumpulnya sendiri. Secara ringkas, urutannya ialah:

1. Suntikan: Ejen menemui kandungan yang bersifat manipulatif atau mengelirukan melalui input biasa atau persekitaran yang dibenarkan untuk dibaca.
2. Kekekalan: Kandungan itu ditulis ke dalam memori jangka panjang, berpotensi bersama nota, fakta atau rekod tugasan yang sah.
3. Tempoh pendam: Ejen terus menjalankan kerja biasa, maka penulisan asal itu mungkin tidak menimbulkan perhatian.
4. Pengambilan semula: Pertanyaan, tugasan, frasa atau konteks yang serupa dari segi makna pada masa hadapan menyebabkan sistem mengambil semula rekod tercemar tersebut.
5. Pengaktifan: Kandungan yang diambil semula mempengaruhi penaakulan, cadangan atau penggunaan alat oleh ejen. 125

Perbezaan utama berbanding suntikan arahan (prompt injection) biasa ialah faktor masa. Penulisan memori berniat jahat yang berjaya boleh mempengaruhi sesi kemudian, walaupun interaksi asal tidak menunjukkan perubahan tingkah laku yang ketara. 130

Tidak semua keadaan memerlukan penyerang mengubah pangkalan data memori secara langsung. Penyelidikan tentang ejen web, misalnya, menghuraikan serangan merentas sesi dan merentas laman: ejen melihat halaman yang dimanipulasi ketika beroperasi seperti biasa, pemerhatian itu mencemari memorinya, dan kesannya diaktifkan dalam tugasan kemudian di laman lain. 2

Apa yang dianalisis oleh penyelidik Universiti Calgary

Penyelidik yang berkaitan dengan Universiti Calgary menganalisis 2,614 trajektori serangan berbilang langkah yang disimulasikan melibatkan ejen model bahasa besar (LLM) dengan keupayaan memori. Mereka tidak sekadar menilai serangan sebagai berjaya atau gagal, sebaliknya meneliti bagaimana kompromi berkembang mengikut masa. Empat corak serangan dikaji: keracunan berantai, penulisan semula dasar, pencetus pintu belakang dan hanyutan perlahan. 14

Keracunan berantai

Keracunan berantai menanam premis berbahaya pada peringkat awal proses berbilang langkah. Penaakulan selepas itu boleh membina atas premis tersebut menerusi keputusan perantaraan yang kelihatan munasabah, sebelum akhirnya menghasilkan keputusan tidak selamat. Dari sudut keselamatan, tiada satu langkah pun semestinya kelihatan jelas berniat jahat apabila diperiksa secara berasingan. 14

Penulisan semula dasar

Penulisan semula dasar mencemari peraturan, kelulusan, keutamaan atau andaian operasi yang diingati. Apabila rekod yang telah diubah itu diambil semula dalam tugasan kemudian, ejen mungkin mengikut dasar gantian yang ditetapkan penyerang, bukannya dasar yang dimaksudkan. 14

Pencetus pintu belakang

Rekod memori bergaya pintu belakang kekal tidak aktif sehingga tugasan akan datang mengandungi pencetus yang sepadan, seperti frasa tertentu, konteks tugasan atau padanan semantik. Penyelidikan terdahulu menunjukkan risiko lebih luas apabila satu pemerhatian yang tercemar boleh disimpan dan diaktifkan dalam kerja masa hadapan merentas sesi serta laman web. 214

Hanyutan perlahan

Hanyutan perlahan merujuk perubahan kecil yang mengalihkan cadangan atau corak tindakan ejen secara beransur-ansur. Penyelidikan mengenai kompromi memori berterusan mendapati tugasan kemudian yang serupa dari segi perkataan atau makna boleh memunculkan rekod tercemar dan mendorong corak tidak selamat merentas sesi. 29

Mengapa ujian ejen sekali sahaja boleh terlepas serangan ini

Analisis Calgary menekankan masalah temporal: sesetengah serangan sukar dibezakan daripada tingkah laku biasa ketika suntikan berlaku. Kesan berbahaya dipisahkan daripada penulisan memori asal dan mungkin hanya muncul selepas proses pengambilan semula pada masa hadapan. 14

Risikonya juga tidak semestinya meningkat secara lurus. Ia boleh senyap sepanjang beberapa interaksi, kemudian meningkat apabila tugasan, konteks atau pencetus yang relevan menyebabkan memori tercemar mendapat kedudukan cukup tinggi untuk diambil semula. Penyelidikan lain turut menghuraikan keracunan memori sebagai proses dua fasa: suntikan terlebih dahulu, diikuti pengaktifan kemudian melalui pengambilan semula. 5

Justeru, ujian yang hanya bertanya, “Adakah ejen gagal pada arahan ini?” boleh memberikan rasa selamat yang palsu. Penilaian langkah demi langkah yang menetapkan semula konteks, melangkau sesi di antara, atau tidak menguji tugasan masa hadapan yang berkaitan juga mungkin tidak dapat menghasilkan semula keadaan bagi pengaktifan serangan.

Unit ujian yang lebih sesuai ialah keseluruhan trajektori, meliputi:

• input tidak dipercayai dan keputusan untuk menulisnya ke memori;
• sesi biasa yang berlaku selepas itu;
• pertanyaan masa hadapan serta variasi semantik yang mungkin mengambil semula rekod tersebut;
• penaakulan ejen selepas pengambilan semula; dan
• tindakan yang terhasil melalui alat atau sistem luaran. 214

Mengapa memori berterusan meningkatkan taruhan bagi ejen autonomi

Kesan segera keracunan mungkin sekadar jawapan yang salah. Kebimbangan lebih besar timbul apabila ejen mempunyai kuasa untuk bertindak selepas merujuk memorinya. Pengambilan semula pada masa hadapan boleh mempengaruhi e-mel, aliran kerja pelayar web, operasi pangkalan data atau tugasan lain yang menggunakan alat. Penyelidikan eTAMP menunjukkan bahawa pertahanan berasaskan kebenaran sahaja mungkin tidak dapat menghentikan ancaman yang masuk secara tidak langsung melalui persekitaran yang memang dibenarkan untuk diperiksa oleh ejen. 2

Ini menjadikan memori sebahagian daripada sempadan keselamatan operasi, bukan sekadar ciri kemudahan. Sistem memori yang menerima bahan tidak dipercayai dan kemudian memaparkannya sebagai konteks berguna boleh mengubah peristiwa awal yang sukar dikesan menjadi insiden tertangguh. 14

Senarai semak praktikal untuk ujian dan pertahanan

Penyelidikan yang dirujuk tidak membuktikan satu pertahanan sejagat, dan tidak menunjukkan sejauh mana organisasi telah menggunakan amalan tindak balas insiden yang matang. Namun, dapatan itu menyokong pendekatan yang menganggap memori berterusan sebagai sistem sensitif keselamatan dan memerlukan kawalan yang jelas.

Uji merentas masa, bukan sekadar merentas arahan

Gunakan penilaian adversarial yang memasukkan pencetus tertangguh, sesi berulang, tugasan biasa di antara, variasi frasa pengambilan semula dan kebenaran alat yang realistik. Uji juga sama ada ejen boleh pulih selepas penulisan memori yang mencurigakan dikenal pasti. 214

Jejaki asal-usul setiap penulisan memori

Rekodkan dari mana memori datang, sebab ia disimpan dan syarat kepercayaan yang dikenakan ketika penulisan. Satu cadangan perlindungan memori jangka panjang menggunakan log penulisan serta keputusan kebenaran yang dapat dikesan ganggu, menunjukkan nilai sejarah memori yang boleh diaudit. 31

Asingkan memori daripada kuasa membuat tindakan

Nota yang diambil semula tidak sepatutnya secara automatik mempunyai kuasa yang sama seperti arahan atau dasar yang telah disahkan. Hadkan tindakan yang boleh dibuat oleh ejen berdasarkan memori berkepercayaan rendah atau memori daripada sumber luaran, dan asingkan kelayakan akses serta tindakan berimpak tinggi.

Pantau penulisan dan pengambilan semula

Pengesanan tidak boleh tertumpu pada arahan masuk sahaja. Pasukan keselamatan memerlukan keterlihatan tentang apa yang masuk ke memori, apa yang dipanggil semula kemudian dan tindakan susulan yang berlaku. Satu pendekatan pengesanan yang dicadangkan menggunakan peralihan yang boleh diperhatikan antara pengambilan memori dan tindakan, tetapi hasilnya bergantung pada seni bina dan tidak patut dianggap penyelesaian sejagat. 18

Sediakan pembatalan dan pemulihan

Proses respons perlu membolehkan rekod mencurigakan dikenal pasti, dikuarantin atau dipadamkan; ringkasan terbitan dibatalkan jika boleh; serta tindakan yang dibuat selepas memori berpotensi tercemar diambil semula disemak.

Inti pati

Keracunan memori mengubah soalan keselamatan daripada “Bolehkah ejen menolak arahan berniat jahat sekarang?” kepada “Bolehkah ia mengurus maklumat dengan selamat apabila maklumat itu mungkin mempengaruhinya jauh kemudian?” Analisis 2,614 trajektori oleh penyelidik Calgary menunjukkan sebab jawapan itu tidak boleh ditentukan melalui satu interaksi sahaja. Bagi ejen AI yang mempunyai memori, ujian keselamatan perlu menjejak keseluruhan laluan: daripada input tidak dipercayai, kepada penyimpanan, pengambilan semula tertangguh dan tindakan di dunia sebenar. 14