Hafıza zehirleme, yapay zekâ ajanları için gecikmeli bir saldırı yüzeyi yaratıyor

Kalıcı hafıza, yapay zekâ ajanlarının önceki işleri, kullanıcı tercihlerini, prosedürleri ve bağlamı görevler arasında hatırlamasını sağlar. Ne var ki bu kolaylık yeni bir güvenlik riski de doğurur: Güvenilmeyen içerik hafızaya kaydedilirse saldırganın ajanın davranışını hemen değiştirmesi gerekmez. Zehirlenmiş kayıt, daha sonraki ve ilk olayla ilgisiz görünen bir görevde geri çağrılmayı bekleyebilir. 15

Gecikmeli hafıza zehirleme saldırısı nasıl işler?

Hafıza zehirleme, bir ajanın zaman içinde biriktirdiği bilgilerin bütünlüğünü hedef alır. Tipik akış şöyledir:

1. Enjeksiyon: Ajan, okuma yetkisi bulunan sıradan bir girdi veya çevresel içerik içinde yanıltıcı ya da saldırgan metinle karşılaşır.
2. Kalıcılık: Bu içerik, meşru notlar, bilgiler veya önceki görev kayıtlarıyla birlikte uzun süreli hafızaya yazılır.
3. Bekleme: Ajan normal işlerini sürdürür; bu nedenle ilk hafıza yazımı dikkat çekmeyebilir.
4. Geri çağırma: İlerideki bir sorgu, görev, ifade veya anlamsal olarak benzer bağlam zehirlenmiş kaydın bulunmasına neden olur.
5. Etkinleşme: Geri çağrılan içerik, ajanın muhakemesini, önerisini ya da bir aracı kullanma biçimini etkiler. 125

Klasik istem enjeksiyonundan temel fark zamandır. Başarılı bir kötü niyetli hafıza yazımı, ilk etkileşimde görünür bir davranış değişikliği yaratmasa bile sonraki oturumları etkileyebilir. 130

Her senaryoda saldırganın hafıza veritabanını doğrudan düzenlemesi de gerekmez. Web ajanlarına ilişkin araştırmalar, ajanın normal çalışırken manipüle edilmiş bir sayfayı görmesiyle hafızasının kirletilebildiği; zehirli kaydın daha sonraki bir görevde, hatta farklı bir web sitesinde etkinleşebildiği oturumlar arası ve siteler arası saldırıları tanımlıyor. 2

Calgary araştırmacılarının incelediği 2.614 saldırı rotası

University of Calgary ile bağlantılı araştırmacılar, hafıza kullanan büyük dil modeli ajanlarını içeren 2.614 simüle çok adımlı saldırı rotasını analiz etti. Çalışma, saldırıyı yalnızca “başarılı” ya da “başarısız” diye sınıflandırmak yerine ele geçirmenin zaman içinde nasıl geliştiğine baktı. Dört saldırı örüntüsü ele alındı: zincir zehirleme, politika yeniden yazımı, arka kapı tetikleme ve yavaş kayma. 14

Zincir zehirleme

Zincir zehirleme, çok adımlı bir sürecin erken aşamasına zararlı bir öncül yerleştirir. Sonraki muhakeme, yüzeyde makul görünen ara kararlarla bu öncülün üzerine kurulabilir ve en sonunda güvensiz bir sonuca ulaşabilir. Güvenlik açısından kritik nokta, tek tek bakıldığında hiçbir adımın açıkça kötü niyetli görünmeyebilmesidir. 14

Politika yeniden yazımı

Bu yöntemde ajanın hatırladığı kurallar, onaylar, öncelikler veya çalışma varsayımları bozulur. Ajan ilerideki bir görevde değiştirilmiş kaydı geri çağırdığında, amaçlanan politika yerine saldırganın ikame ettiği politikayı izleyebilir. 14

Arka kapı tetikleme

Arka kapı niteliğindeki bir hafıza kaydı, belirli bir ifade, görev bağlamı veya anlamsal eşleşme gibi doğru tetikleyici ortaya çıkana kadar pasif kalır. İlgili çalışmalar, tek bir kirlenmiş gözlemin saklanıp sonraki oturumlarda ve farklı sitelerdeki işlerde etkinleşebileceğine dair daha geniş riski de ortaya koyuyor. 214

Yavaş kayma

Yavaş kayma, ajanının önerilerini veya eylem kalıplarını zaman içinde küçük ama birikimli değişimlerle saptırmayı ifade eder. Kalıcı hafıza ihlaline ilişkin araştırmalar, sözcüksel ya da anlamsal açıdan benzer sonraki görevlerin zehirlenmiş kayıtları öne çıkararak oturumlar boyunca güvensiz davranış örüntülerine yol açabildiğini buluyor. 29

Tek seferlik ajan testleri neden saldırıyı kaçırabilir?

Calgary analizinin öne çıkardığı sorun zamansal ayrımdır: Bazı saldırılar, enjeksiyon anında normal davranıştan ayırt edilmesi zor biçimde kalabilir. Zararlı etki, ilk hafıza yazımından ayrışır ve ancak daha sonraki bir geri çağırmada görünür hale gelebilir. 14

Dolayısıyla risk doğrusal biçimde artmak zorunda değildir. Sistem birkaç etkileşim boyunca sorunsuz görünebilir; ardından ilgili görev, bağlam veya tetikleyici zehirlenmiş kaydın geri çağırma sıralamasında yeterince yükselmesine neden olduğunda risk birden belirginleşebilir. Başka araştırmalar da hafıza zehirlemeyi iki aşamalı bir süreç olarak tanımlıyor: Önce enjeksiyon, ardından geri çağırma yoluyla etkinleşme. 5

Bu yüzden yalnızca “ajan bu istemde başarısız oldu mu?” sorusunu soran bir değerlendirme yanıltıcı bir güven duygusu yaratabilir. Her adımda bağlamı sıfırlayan, aradaki oturumları atlayan veya ilgili gelecekteki görevi hiç çalıştırmayan testler de etkinleşme için gerekli koşulları yeniden üretemeyebilir.

Daha doğru test birimi, uçtan uca saldırı rotasıdır:

• güvenilmeyen girdi ve hafızaya yazma kararı;
• aradaki zararsız oturumlar;
• kaydı geri çağırabilecek gelecekteki sorgular ve anlamsal varyasyonlar;
• geri çağırma sonrasındaki muhakeme; ve
• araçlar veya harici sistemler üzerinden gerçekleşen eylemler. 214

Kalıcı hafıza, otonom ajanlarda neden riski büyütür?

Zehirlemenin ilk sonucu hatalı bir yanıt olabilir. Asıl büyük risk, ajanın hafızasına başvurduktan sonra eylem yapma yetkisine sahip olmasıyla doğar. Sonraki bir geri çağırma; e-posta gönderimini, tarayıcı üzerinden yürütülen bir işlemi, veritabanı operasyonunu veya başka bir araç aracılı görevi etkileyebilir. eTAMP araştırması özellikle, ajanın incelemesine izin verilen bir ortamdan dolaylı biçimde gelen tehdidin yalnızca izin tabanlı savunmalarla her zaman durdurulamayabileceğini gösteriyor. 2

Bu nedenle hafıza, yalnızca kullanışlı bir özellik değil, operasyonel güvenlik sınırının da parçasıdır. Güvenilmeyen malzemeyi kabul eden ve bunu sonradan yararlı bağlam olarak sunan bir hafıza sistemi, ilk anda fark edilmeyen bir olayı gecikmeli bir vakaya dönüştürebilir. 14

Pratik test ve savunma kontrol listesi

Atıf yapılan araştırmalar evrensel bir savunma yöntemi ortaya koymuyor; kuruluşların olgun olay müdahale uygulamalarını ne kadar yaygın benimsediğini de göstermiyor. Ancak kalıcı hafızanın açık denetimler gerektiren, güvenlik açısından hassas bir sistem olarak ele alınmasını destekliyor.

Yalnızca istemleri değil, zamanı da test edin

Gecikmeli tetikleyicileri, tekrar eden oturumları, araya giren zararsız görevleri, farklı geri çağırma ifadelerini ve gerçekçi araç yetkilerini içeren saldırgan değerlendirmeler uygulayın. Şüpheli bir hafıza yazımı tespit edildiğinde ajanın toparlanıp toparlanamadığını da sınayın. 214

Hafıza yazımlarının kaynağını izleyin

Her kaydın nereden geldiğini, neden saklandığını ve yazım anında hangi güven koşullarına tabi olduğunu kaydedin. Uzun süreli hafızayı korumaya yönelik bir araştırma, yazımları ve yetkilendirme kararlarını kurcalamaya karşı görünür bir kayıt zincirine eklemeyi öneriyor; bu yaklaşım denetlenebilir hafıza geçmişlerinin değerini gösteriyor. 31

Hafızayı yetkiden ayırın

Geri çağrılan bir not, doğrulanmış bir talimat veya politika ile aynı yetkiyi otomatik olarak taşımamalıdır. Düşük güven düzeyli ya da dış kaynaklı hafızaların ajana yaptırabileceklerini sınırlayın; kimlik bilgilerini ve yüksek etkili işlemleri birbirinden ayırın.

Hem yazımları hem geri çağırmaları inceleyin

Tespit mekanizmaları yalnızca gelen istemlere odaklanamaz. Ekiplerin hafızaya neyin girdiğini, daha sonra neyin hatırlandığını ve bunun ardından hangi eylemlerin geldiğini görmesi gerekir. Önerilen bir tespit yaklaşımı, gözlemlenebilir geri çağırma-eylem geçişlerini kullanıyor; ancak raporlanan sonuçlar mimariye bağlı olduğundan evrensel bir çözüm olarak değerlendirilmemeli. 18

İptal ve geri alma planı hazırlayın

Müdahale süreci; şüpheli kayıtları bulabilmeli, karantinaya alabilmeli veya silebilmeli, mümkünse bu kayıtlardan türetilmiş özetleri geçersiz kılabilmeli ve potansiyel olarak zehirlenmiş hafızaların geri çağrılmasından sonra yapılan eylemleri inceleyebilmelidir.

Temel sonuç

Hafıza zehirleme, soruyu “Ajan şu anda kötü niyetli bir isteme direnebilir mi?” noktasından “Ajan, kendisini çok daha sonra etkileyebilecek bilgiyi güvenle yönetebilir mi?” noktasına taşıyor. Calgary ekibinin 2.614 rota üzerindeki analizi, bu sorunun tek bir etkileşimle yanıtlanamayacağını vurguluyor. Hafızalı ajanlarda güvenlik testleri; güvenilmeyen girdiden depolamaya, gecikmeli geri çağırmadan gerçek dünyadaki eyleme kadar tüm zinciri izlemeli. 14