Kırmızı Alarm: 13 Kelimelik Bir Yorum, Yapay Zekâyı Dolandırıcılık Aracına Dönüştürebilir

Bir dahaki sefere bir yapay zekâ araştırma aracına "en iyi arkadaşlık uygulaması hangisi?" veya "şu üyeliği nasıl iptal ederim?" diye sorduğunuzda alacağınız cevap, bir dolandırıcının Reddit'teki bir yoruma gizlediği birkaç kelimeyle belirlenmiş olabilir. Cornell Tech'ten Tingwei Zhang, Harold Triedman ve Vitaly Shmatikov tarafından yayımlanan yeni bir ön baskı makale, derin araştırma yapan yapay zekâ ajanlarının, WARP (Web Ajanı Getirme Zehirlemesi - Web Agent Retrieval Poisoning) adı verilen bir saldırıyla endişe verici derecede kolay manipüle edilebildiğini gösteriyor .

WARP Saldırısı Nasıl Çalışıyor?

STORM, Co-STORM ve OmniThink gibi derin araştırma ajanları, birbiriyle ilişkili çok sayıda arama sorgusu oluşturarak ve elde ettikleri bilgileri kapsamlı bir rapor halinde sentezleyerek çalışır. Cornell'li araştırmacılar bu sistemlerde kritik bir zayıflık tespit etti: Bu ajanlar, kullanıcı tarafından oluşturulan içeriğe (UGC) aşırı derecede bağımlı. Bir araştırma oturumu sırasında getirilen tüm URL'lerin %54 ila %71'i, başta Reddit ve Wikipedia olmak üzere UGC platformlarından geliyor .

Bu yoğunlaşma, istismar edilebilir bir saldırı yüzeyi yaratıyor. Saldırganın yapması gereken tek şey, popüler bir Reddit başlığı altına veya bir Wikipedia sayfasına, sahte bir ürün ya da dolandırıcı bir hizmet gibi belirli bir hedefi tanıtmak amacıyla özel olarak hazırlanmış bir yorum eklemek. Ajanlar, belirli bir konudaki farklı sorgular için aynı üst sıradaki UGC sayfalarını defalarca getirdiğinden, zehirlenmiş tek bir sayfa ajanın tüm araştırma bağlamını enfekte edebiliyor .

Asgari Çaba, Yüksek Başarı Oranları

Sonuçlar, verimliliği açısından çarpıcı. Çalışma, 13 kelime gibi kısa bir zehirli metnin %38 ila %62 arasında bir "bahsedilme oranına" ulaşabildiğini ortaya koydu. Bu, saldırganın hedefindeki varlığın, o konudaki sorgularda ajanın nihai çıktısında doğrudan alıntılandığı anlamına geliyor. Makale, bu etkinliğin birden fazla sorgu kümesi ve farklı ajan mimarileri için geçerli olduğunu doğruluyor ve güvenlik açığının tek bir sisteme özgü değil, yapısal olduğunu gösteriyor .

Saldırı, genel raporun saçma veya düşük kaliteli görünmesine yol açmıyor. Enjekte edilen metin, meşru içerikle inandırıcı bir şekilde kaynaşıyor ve bu da dolandırıcı bir ürünün ustaca tanıtımını hem kullanıcıların hem de otomatik filtrelerin tespit etmesini zorlaştırıyor .

Tehlikeli Derecede Yoğunlaşmış Bir Saldırı Yüzeyi

Sorunun özünde, "getirme örtüşmesi" yatıyor. Araştırmacılar, tek bir konu kümesi içindeki ilişkili sorguların %48'ine varan bir kısmı için arama sonuçlarında aynı Reddit sayfalarının göründüğünü gözlemledi. Bu, iyi trafik alan tek bir Reddit başlığını zehirlemenin, o konudaki tüm kullanıcı sorgularının neredeyse yarısını etkileyebileceği anlamına geliyor. "En iyi yol yardımı"ndan "en iyi arkadaşlık uygulamaları"na kadar birçok konuda bu yoğunlaşma, tek bir hata noktasını geniş çaplı bir güvenlik açığına dönüştürüyor .

Mevcut Savunmalar Neden İşe Yaramıyor?

Araştırma ekibi, üç basit savunma stratejisini test etti ve her birinin ya etkisiz ya da kendi kendine zarar veren bir yöntem olduğunu gördü .

UGC alan adlarını tamamen engellemek, zehirli Reddit ve Wikipedia sayfalarını getirme havuzundan çıkararak saldırıyı anında durdurur. Ancak bu savunma, hastalıktan daha beter bir tedavidir: UGC platformları, derin araştırma ajanlarını değerli kılan zengin, ayrıntılı ve deneyimsel bilgiyi sağlar. Bunları kaldırmak, ajanların kullanıcıların beklediği kapsamlı raporları üretemez hale gelmesine yol açar .

Ajanın kendi dil modelini kaynakları taramak için kullanmak bazen bariz zehirlemeleri yakalasa da temelde güvenilmezdir. Etrafındaki meşru yorumlarla aynı tonda yazılmış, iyi hazırlanmış bir zehirli metin bu kontrolleri kolayca atlatır. Ayrıca bu yaklaşım, güvenlikte orantılı bir kazanç sağlamadan önemli ölçüde işlem gecikmesi ve maliyet ekler .

Nihai çıktıya makuliyet kontrolleri uygulamak, bazı aşırı veya mantıksız tavsiyeleri işaretleyebilir. Sorun şu ki, WARP saldırıları fark edilmeyecek şekilde tasarlanmıştır. Zehirli enjeksiyon kısa, bağlama uygun ve raporun genel kalitesini düşürmez. Nihai belge, artık sessizce saldırganın seçtiği bir ürünü tavsiye etse de, bariz bir kırmızı bayrak olmadan makuliyet incelemelerini geçer .

Çalışmanın vardığı sonuç düşündürücü. Bu güvenlik açığı, bir yama ile düzeltilebilecek bir yazılım hatası değil; bu ajanların çalışmak üzere nasıl tasarlandığının temel bir sonucu. Az sayıda ve tekrar tekrar getirilen UGC sayfasına olan ağır bağımlılıkları, mevcut hiçbir savunmanın, ajanların temel işlevselliğini de bozmadan kapatamayacağı, yoğun ve istismar edilebilir bir saldırı yüzeyi yaratıyor .