Memory Poisoning: Serangan Tertunda yang Mengincar Memori Agen AI

Memori persisten membuat agen AI lebih berguna karena ia dapat menyimpan preferensi, pekerjaan terdahulu, prosedur, dan konteks antartugas. Namun, fitur ini juga membuka persoalan keamanan tersendiri. Jika konten tak tepercaya masuk dan tersimpan sebagai memori, penyerang tidak harus langsung memicu kegagalan. Mereka dapat menunggu hingga agen mengambil kembali catatan yang telah diracuni itu pada tugas lain yang tampaknya tidak berkaitan. 15

Cara kerja serangan memory poisoning yang tertunda

Memory poisoning adalah serangan terhadap integritas informasi yang kelak dianggap agen sebagai bagian dari pengetahuan yang telah dikumpulkannya. Alurnya secara umum sebagai berikut:

1. Injeksi: Agen menemukan konten menyesatkan atau bersifat adversarial melalui masukan biasa maupun lingkungan yang memang diizinkan untuk dibaca.
2. Penyimpanan: Konten tersebut ditulis ke memori jangka panjang, berbaur dengan catatan, fakta, atau rekam tugas yang sah.
3. Masa dorman: Agen tetap menjalankan pekerjaan normal, sehingga penulisan awal itu mungkin luput dari perhatian.
4. Pengambilan kembali: Kueri, tugas, frasa, atau konteks yang mirip secara semantik pada masa depan membuat sistem mengambil memori yang telah tercemar.
5. Aktivasi: Isi memori itu memengaruhi penalaran, rekomendasi, atau penggunaan alat oleh agen. 125

Perbedaan utama dengan prompt injection biasa adalah faktor waktu. Satu penulisan memori yang berhasil dapat memengaruhi sesi-sesi berikutnya, meski interaksi awal tidak memperlihatkan perubahan perilaku agen. 130

Dalam sejumlah skenario, penyerang bahkan tidak perlu mengubah basis data memori secara langsung. Riset tentang agen web, misalnya, menguraikan serangan lintas sesi dan lintas situs: agen melihat halaman yang telah dimanipulasi dalam operasi normal, memorinya tercemar, lalu konten itu aktif pada tugas lain di kemudian hari. 2

Temuan analisis 2.614 lintasan serangan

Peneliti yang terkait dengan University of Calgary menganalisis 2.614 lintasan serangan simulasi bertahap pada agen LLM yang memiliki memori. Alih-alih hanya menilai serangan sebagai berhasil atau gagal, mereka melihat bagaimana kompromi berkembang dari waktu ke waktu. Empat pola yang diteliti adalah chain poisoning, policy rewriting, backdoor triggering, dan slow drift. 14

Chain poisoning

Chain poisoning menanam premis berbahaya pada tahap awal proses bertahap. Penalaran berikutnya lalu dapat membangun di atas premis tersebut lewat keputusan-keputusan antara yang tampak masuk akal, hingga akhirnya menghasilkan keluaran yang tidak aman. Dalam pola ini, tidak ada satu langkah pun yang harus terlihat jelas-jelas berbahaya bila diperiksa terpisah. 14

Policy rewriting

Policy rewriting merusak aturan, persetujuan, prioritas, atau asumsi operasional yang diingat agen. Ketika catatan yang telah diubah itu dipanggil kembali pada tugas berikutnya, agen berisiko mengikuti kebijakan pengganti buatan penyerang, bukan kebijakan yang semestinya. 14

Backdoor triggering

Entri memori bergaya backdoor dapat tetap tidak aktif sampai tugas masa depan memuat pemicu yang tepat, misalnya frasa tertentu, konteks tugas, atau kecocokan semantik. Riset sebelumnya memperlihatkan risiko lebih luas: satu observasi yang tercemar dapat tersimpan dan aktif kembali pada pekerjaan mendatang, lintas sesi maupun situs web. 214

Slow drift

Slow drift merujuk pada perubahan kecil yang perlahan menggeser rekomendasi atau pola tindakan agen. Penelitian tentang kompromi memori persisten menemukan bahwa tugas-tugas berikutnya yang mirip secara leksikal atau semantik dapat memunculkan kembali catatan beracun dan memicu pola tidak aman lintas sesi. 29

Mengapa pengujian satu kali bisa gagal mendeteksi serangan

Analisis Calgary menekankan persoalan temporal: beberapa serangan sulit dibedakan dari perilaku normal ketika injeksi terjadi. Dampak berbahayanya terpisah dari momen memori ditulis dan mungkin baru terlihat saat memori itu diambil kembali kemudian. 14

Karena itu, risiko tidak harus meningkat secara lurus dari satu interaksi ke interaksi lain. Risiko dapat tampak tenang selama beberapa sesi, lalu melonjak ketika tugas, konteks, atau pemicu yang relevan membuat memori tercemar cukup tinggi peringkatnya untuk dipanggil kembali. Riset lain juga menggambarkan memory poisoning sebagai proses dua tahap: injeksi lebih dulu, lalu aktivasi saat pengambilan kembali memori. 5

Pengujian yang hanya bertanya, “Apakah agen gagal pada prompt ini?” dapat memberi rasa aman yang keliru. Evaluasi bertahap yang selalu mengatur ulang konteks, melewati sesi-sesi di antaranya, atau tidak menguji tugas masa depan yang relevan juga dapat gagal mereproduksi kondisi aktivasi.

Unit pengujian yang lebih tepat adalah lintasan penuh, meliputi:

• masukan tak tepercaya dan keputusan untuk menyimpannya ke memori;
• sesi-sesi normal di antaranya;
• kueri masa depan serta variasi semantik yang mungkin memanggil memori tersebut;
• penalaran agen setelah memori diambil kembali; dan
• tindakan yang dihasilkan melalui alat atau sistem eksternal. 214

Mengapa memori persisten meningkatkan risiko agen otonom

Dampak langsung dari memori yang tercemar bisa saja sekadar jawaban yang keliru. Kekhawatiran yang lebih besar muncul ketika agen memiliki wewenang untuk bertindak setelah berkonsultasi dengan memorinya. Pengambilan kembali pada masa depan dapat memengaruhi pengiriman email, alur kerja di browser, operasi basis data, atau tugas lain yang menggunakan alat. Riset eTAMP secara khusus menunjukkan bahwa pertahanan berbasis izin saja dapat tidak cukup untuk menghentikan ancaman yang masuk tidak langsung melalui lingkungan yang memang boleh diperiksa agen. 2

Dengan demikian, memori merupakan bagian dari batas keamanan operasional, bukan sekadar fitur kenyamanan. Sistem memori yang menerima materi tak tepercaya lalu menyajikannya kembali sebagai konteks berguna dapat mengubah kejadian awal yang nyaris tak terlihat menjadi insiden tertunda. 14

Checklist pengujian dan pertahanan praktis

Riset yang dikutip belum menetapkan satu pertahanan universal atau menunjukkan seberapa luas organisasi telah menerapkan prosedur respons insiden yang matang. Namun, temuan tersebut mendukung perlakuan terhadap memori persisten sebagai sistem sensitif dari sisi keamanan yang memerlukan kontrol eksplisit.

Uji lintas waktu, bukan hanya lintas prompt

Gunakan evaluasi adversarial yang mencakup pemicu tertunda, sesi berulang, tugas normal di antara sesi, variasi kata dalam pengambilan memori, serta izin penggunaan alat yang realistis. Uji pula apakah agen dapat pulih setelah penulisan memori yang mencurigakan teridentifikasi. 214

Lacak asal-usul setiap penulisan memori

Catat dari mana memori berasal, alasan ia disimpan, serta kondisi kepercayaan yang berlaku saat penulisan. Riset tentang perlindungan memori jangka panjang mengusulkan pencatatan penulisan dan keputusan otorisasi yang sulit dimanipulasi, yang menggambarkan nilai riwayat memori yang dapat diaudit. 31

Pisahkan memori dari otoritas

Catatan yang dipanggil kembali tidak seharusnya otomatis memiliki otoritas setara instruksi atau kebijakan yang telah diverifikasi. Batasi tindakan yang dapat dilakukan agen berdasarkan memori berkepercayaan rendah atau yang berasal dari sumber eksternal, dan pisahkan kredensial serta tindakan berdampak tinggi.

Periksa penulisan dan pengambilan kembali

Deteksi tidak boleh hanya berfokus pada prompt yang masuk. Tim perlu dapat melihat apa yang masuk ke memori, apa yang dipanggil kembali kemudian, dan tindakan lanjutan apa yang mengikutinya. Salah satu pendekatan deteksi yang diusulkan memanfaatkan transisi pengambilan-memori-ke-tindakan yang dapat diamati, tetapi hasilnya bergantung pada arsitektur dan tidak boleh dianggap solusi universal. 18

Siapkan pencabutan dan pemulihan

Proses respons perlu mampu menemukan entri mencurigakan, mengarantina atau menghapusnya, membatalkan ringkasan turunan bila memungkinkan, serta meninjau tindakan yang telah dilakukan setelah memori yang mungkin tercemar dipanggil kembali.

Pelajaran utamanya

Memory poisoning mengubah pertanyaan keamanan dari “Bisakah agen menolak prompt berbahaya sekarang?” menjadi “Bisakah ia mengelola informasi yang mungkin memengaruhinya jauh di masa depan secara aman?” Analisis atas 2.614 lintasan oleh peneliti University of Calgary menunjukkan mengapa jawabannya tidak dapat ditentukan dari satu interaksi. Pada agen dengan memori, pengujian keamanan perlu mengikuti seluruh jalur: dari masukan tak tepercaya, penyimpanan, pengambilan kembali yang tertunda, hingga tindakan di dunia nyata. 14