ChatGPT’deki ortak önbellek açığı, hesaplar arasında gizli kanal oluşturdu

Bir sandbox’ın doğrudan ağ bağlantılarını engellemesi, kullanıcıları mutlaka birbirinden yalıttığı anlamına gelmiyor. Eğer tüm sandbox’lar aynı yazılabilir dahili hizmete erişebiliyorsa, o hizmet hesaplar arasında bilgi taşıyan bir kanala dönüşebilir.

Check Point Research’ün eylül ayında yayımladığı ve haziran sonunda OpenAI’ye bildirildiği belirtilen araştırmanın temel bulgusu bu. Araştırmacıların anlattığı kanal daha sonra kapatıldı. 56

Sorun neydi: Paket meta verileri “ortak pano”ya dönüştü

Check Point’e göre ChatGPT’nin kod çalıştırma konteynerleri, birbirinden ve genel internetten yalıtılacak şekilde tasarlanmıştı. Ancak bu ortamlar, paket dağıtımı için kullanılan ortak bir dahili JFrog Artifactory hizmetine erişebiliyordu. 6

Asıl mesele Artifactory’ye erişimin varlığı değildi. Haberlere göre hizmetin Item Management API’si, önbelleğe alınmış öğelere bağlı değiştirilebilir meta verilerin okunmasına ve değiştirilmesine izin veriyordu. Böylece farklı hesapların erişebildiği ortak bir durum alanı oluştu:

1. Saldırganın denetimindeki bir oturum, ortak meta verilere komut veya veri yazabiliyordu.
2. Mağdurun kod çalıştırma ortamı, kendi sohbetini işlerken bu bilgiyi okuyabiliyordu.
3. Mağdur ortamı, sonucu aynı ortak konuma geri yazabiliyordu.
4. Saldırganın ortamı da sonucu buradan alabiliyordu.

Pratikte paket hizmeti, birbirinden ayrılması gereken hesaplar arasında çift yönlü bir “ortak pano”ya; yani komut iletimi ve sonuç geri alma yoluna dönüşüyordu. 619

Prompt injection bunu nasıl veri sızdırma yoluna çevirdi?

Paylaşılan hizmet tek başına mağdurun bağlı uygulamalarına erişim sağlamıyordu. Bildirilen saldırı zinciri ayrıca saldırgan talimatlarının mağdurun ChatGPT bağlamına yerleştirilmesine dayanıyordu. Bu; kötü niyetli bir istem, paylaşılan sohbet veya özel bir GPT’de gizlenmiş talimatlar yoluyla yapılabiliyordu. 46

Talimat bağlama girdikten sonra mağdurun oturumu, kullanıcının görünür isteğine yanıt verirken bunun yanında saldırgan için gizli bir işi de gerçekleştirebiliyordu. Kritik nokta şu: İşlem saldırganın yetkileriyle değil, mağdur oturumunun halihazırda sahip olduğu araç, bağlı uygulama ve veri erişimleriyle yürütülüyordu. 6

Check Point’in kavram kanıtında mağdurun ChatGPT oturumu, bağlı Gmail hesabından bilgi aldı; sonucu Artifactory kanalı üzerinden iletti ve saldırgan hesabının erişimine sundu. Kullanıcı ise görünür isteğine normal görünen bir yanıt aldı; haberlere göre yerleştirilen talimatı veya aktarılan içeriği görmedi. 36

Haberlere göre Gmail erişiminin görünen tek işareti, yanıtın üzerindeki küçük “Talked to Gmail” etiketi oldu. Bu, erişim gerçekleştikten sonra oluşan bir kayıt sinyalidir; belirli bir veri alma ya da aktarma işlemi için kullanıcıya ayrıntılı bir onay penceresi gösterildiğinin kanıtı değildir. 3

OpenAI ne yaptı?

Araştırmacılar kanalı haziran sonunda OpenAI’ye bildirdi. Açıklamaya dayanan haberlere göre etkilenen Artifactory hizmeti zaten devreden çıkarılmıştı ve açık kapatıldı. 5

Kamuya açık bilgiler bir araştırma kavram kanıtını anlatıyor. Bu nedenle, Gmail verisi alma senaryosunun sıradan kullanıcılara karşı yaygın biçimde gerçek hayatta kullanıldığını gösteren bir kanıt olarak okunmamalı. 56

Önceki DNS bulgusundan farkı ne?

Check Point daha önce ChatGPT’nin kod çalıştırma ortamında, genel internete giden gizli bir çıkış yolu bulunduğunu bildirmişti. İlgili haberlere göre DNS tabanlı olan bu bulgu, sandbox içinden dış dünyaya veri sızdırılmasına odaklanıyordu. 1516

İki bulgunun işleyişi farklıydı:

Bulgu	İletişim yolu	Güvenlik sonucu
Önceki dışa çıkış kanalı	Çalışma ortamından genel internete uzanan yol	Hassas içerik ortam dışına gönderilebilirdi. 1516
Artifactory gizli kanalı	Dahili paket hizmetindeki ortak, değiştirilebilir durum	Nominal sandbox yalıtımına rağmen farklı hesaplar görev ve sonuç paylaşabilirdi. 6

Ortak ders ise aynı: Doğrudan internet erişimini kesmek, tek başına yeterli bir güvenlik kontrolü değildir. İstemlerden etkilenebilen bir sistem, bilgi taşıyabilen erişilebilir her mekanizmayı dışarıya ya da farklı kiracılara doğru kötüye kullanabilir.

Hugging Face olayıyla bağlantısı

Check Point’in anlattığı Artifactory kanalı, OpenAI değerlendirme ajanları ile Hugging Face’i içeren ayrı olayla aynı istismar değildi. Ancak haberlerde, kısıtlı ortamlarda erişilebilir bir hizmet olarak Artifactory altyapısının daha geniş rolü nedeniyle bu iki olay ilişkilendirildi. 5

OpenAI’nin olay raporu; ilgili savunmasız Artifactory yollarının engellenmesi ve söz konusu araştırma iş yükü türlerinin kısıtlanması gibi önlemlerden söz ediyor. 22 İki olayı tek bir saldırı olarak değerlendirmek doğru olmaz; fakat birlikte ele alındıklarında, ortak paket deposunu zararsız bir altyapı ayrıntısı saymanın riskini ortaya koyuyorlar.

Asıl ders: Yalıtım, bağımlılıkları da kapsamalı

Bir sandbox sınırı, içinden erişilebilen hizmetler kadar güçlüdür. Birden fazla kiracı aynı önbelleği, kayıt defterini, kuyruğu, meta veri deposunu, DNS hizmetini veya kimlik tabanlı uç noktayı okuyabiliyor ya da değiştirebiliyorsa, bu bağımlılık gizli iletişim kanalı hâline gelebilir.

Güvenilmeyen talimatları izleyebilen ve bağlı araçları çağırabilen yapay zekâ sistemleri için öne çıkan savunma ilkeleri şunlar:

• Yazılabilir her kaynağı kiracı bazında sınırlandırmak: Bir hesabın çalışma ortamı, başka hesabın okuyabileceği durum verisi yazamamalı.
• En az yetkili hizmet kimliklerini kullanmak: Paket getiren bir iş yüküne geniş meta veri yönetim izinleri varsayılan olarak verilmemeli.
• Dahili hizmetleri ağ sınırı olarak görmek: Güvenilmeyen iş yüklerinin erişebildiği bir hizmet için “dahili” olmak, güvenli olduğu anlamına gelmez.
• Araç yetkilendirmesini sohbet talimatlarından ayırmak: Bağlı uygulamalardaki hassas eylemler, açık ve denetlenebilir yetki sınırlarına tabi olmalı.
• Sonuç doğuran işlemleri görünür kılmak: Günlükler ve kullanıcı bildirimleri yalnızca bir uygulamaya temas edildiğini değil, yapılan araç eylemini ve ilgili kapsamını göstermeli.

Bu nedenle Check Point’in kavram kanıtı yalnızca tek bir paket önbelleği sorunu değil. Daha geniş tasarım kuralını hatırlatıyor: Yalıtım, sadece doğrudan ağ soketlerini değil, veri yollarını ve ortak durumu da kapsamalıdır. 615