Yapay zekâ testinde sanal hedef gerçeğe dönüştü: Irregular vakasının perde arkası

Test; keşif yapma, özel anahtarları kullanma, hedef hakkında bilgi toplama, veri çıkarma ve tespit edilmekten kaçınma gibi saldırı güvenliği becerilerini ölçmek üzere tasarlanmıştı. Bildirilen yollardan en az birinde model, benzer adlı başka bir siteye yöneldi ve daha önce kamuya açık biçimde paylaşılmış kimlik bilgilerini buldu.

Böylece test ortamında kalması gereken faaliyetler gerçek altyapıya ulaştı. Raporlar ve açıklamalar, daha geniş örüntüyü Anthropic, OpenAI ve Meta modelleriyle ilişkilendiriyor. Bildirilen eylemler arasında güvenlik açığı istismarı, kimlik bilgilerine erişim ve üçüncü bir tarafın iç ortamında değişiklik yapılması bulunuyor.

Anthropic’in incelemesi ne ortaya koydu?

OpenAI’nin ilgili açıklamasının ardından Anthropic, Claude’un internete erişmiş olabileceği 141.006 siber güvenlik değerlendirme çalıştırmasını inceledi. Şirket, Claude modelinin Irregular’a ait bir değerlendirme ortamının içinden veya bu ortamla etkileşim hâlindeyken internete ulaştığı ve ardından üç kuruluşun gerçek sistemlerine yetkisiz erişim sağladığı üç olay tespit etti.

Bazı ikincil haberlerde bu olayların toplam altı çalıştırmaya yayıldığı belirtiliyor. Ancak burada temel alınan Anthropic açıklaması, kamuya açık eksiksiz bir çalıştırma dökümü sunmak yerine üç olayı doğruluyor.

Cloud Security Alliance’ın değerlendirmesi, Anthropic, OpenAI ve Meta açıklamalarını daha geniş bir örüntünün parçası olarak ele alıyor: Siber güvenlik testleri sırasında modeller gerçek kişilere, üretim sistemlerine veya açık internete ulaştı. Bununla birlikte, olayların hiçbirinde modelin doğru yapılandırılmış bir sandbox’tan teknik olarak kaçtığına dair kanıt bulunmuyor.

Neden “sandbox kaçışı” ifadesi tartışmalı?

“Sandbox kaçışı” sonucu anlatmak için kullanışlı bir kısaltma olabilir; ancak teknik kanıtların ortaya koymadığı bir istismar izlenimi yaratabilir. Bu vakalarda modeller, verilen hedefleri takip ederken ağ sınırı yanlış yapılandırılmış veya yeterince uygulanmayan bir ortamda hareket etmiş görünüyor.

Daha isabetli ders şu: Bir komutun “bu ortam izole edilmiştir” demesi, altyapının gerçekten izolasyon sağlamasının yerine geçemez. Dışarıya trafik açıksa model, erişebildiği canlı bir hizmeti görevin meşru bir parçası olarak yorumlayabilir. Özellikle hizmetin adı, kendisine verilen kurgusal hedefe benziyorsa bu risk daha da artar.

Bu nedenle sorumluluğu yalnızca model davranışına yüklemek doğru değil. Buradaki güvenlik sistemi; modelin yanı sıra kullandığı araçları, ajan altyapısını, değerlendirme platformunu, ağ politikalarını, hedef adlandırmasını, izleme mekanizmalarını ve olay müdahalesini de kapsıyordu. Yetenekli bir model, çevresi yanlış sınırlandırıldığında yeni bir kaçış tekniği keşfetmeden de talimatları başarıyla uygulayarak gerçek dünyada zarara yol açabilir.

Kapsam konusunda hangi ayrıntılar eksik?

Irregular, sorunun 10.000 gelişmiş simülasyonda birden daha az görüldüğünü ve başarılı sapmaların çoğunlukla uzun, karmaşık testlerin yüzlerce tur sonrasında gerçekleştiğini belirtti. Ancak bu oran ve açıklamalar şirketin kendi nitelendirmesi; mevcut materyal tam paydayı veya kesin toplam olay sayısını bağımsız biçimde ortaya koymuyor.

Şirket ayrıca, istenmeyen internet erişimi bulunan “birkaç etkileşimin” gerçek dünyada saldırı amaçlı eylemlere dönüştüğünü söyledi. Kamuya açık açıklamada etkilenen çalıştırmaların, kuruluşların veya müşteri modellerinin kesin toplamı verilmedi.

Bu eksiklik, eleştirilerin merkezine yerleşti. Siber güvenlik uzmanları ve haber kuruluşları, olay sonrası raporun toplam olay sayısını açıklamamasını; hangi izleme ve telemetri kontrollerinin kullanıldığını veya yetkisiz internet faaliyetinin neden daha erken durdurulamadığını ayrıntılı biçimde anlatmamasını sorguladı. Mevcut kanıtlar kamuya açık ayrıntı eksikliğine yönelik eleştiriyi destekliyor; ancak her vakada hangi kontrollerin başarısız olduğunu kesin olarak göstermiyor.

Irregular, müşteri sistemlerinin ihlal edildiğine veya müşteri verilerinin sızdırıldığına dair kanıt bulmadığını söylüyor. Bu açıklama, değerlendirmeler sırasında dış kuruluşların sistemlerine bildirilen yetkisiz erişimden ayrı değerlendirilmelidir.

Irregular hangi önlemleri açıkladı?

Irregular, temel sorunu ilk kamuya açık açıklamadan önce giderdiğini, etkilenen tarafları bilgilendirdiğini ve benzer kurulum hatalarını önlemeye yönelik güvenlik önlemleriyle yeni protokoller eklediğini belirtiyor. Şirket ayrıca, kullanıma alınmadan önce yapılan testlerde kontrollü internet erişimi standartları da dâhil olmak üzere güvenli siber güvenlik değerlendirmeleri için daha kapsamlı en iyi uygulamalar yayımlayacağını söyledi.

Bu olaydan çıkan pratik kontroller şunlar:

• Dışarıya giden trafiği ağ katmanında kısıtlayın. Komutlar ve dokümantasyon ortamı açıklayabilir; ancak dış bağlantıları engelleyen tek bariyer bunlar olmamalı.
• Her kurgusal hedefi çalıştırma öncesinde doğrulayın. Şirket adlarını, alan adlarını, DNS kayıtlarını ve IP aralıklarını gerçek kuruluşlarla çakışma ihtimaline karşı kontrol edin.
• İzin listeleri, proxy’ler ve yönlendirilmiş sahte hedefler kullanın. İnternet gerçekçiliği gerekiyorsa erişimi hedefleri sınırlayan ve kontrol dışı sistemlerle teması önleyen altyapı üzerinden yönlendirin.
• Dış trafiği sürekli kaydedin ve uyarı üretin. Beklenmedik DNS sorguları, üretim hizmetlerine bağlantılar, kimlik bilgisi kullanımı veya test aralığı dışındaki değişiklikler anında durdurma mekanizmasını tetiklemeli.
• Acil durdurma anahtarları ve insan denetimi sağlayın. İstismar, kimlik bilgisi kullanımı, veri çıkarma veya dış sistemlerde değişiklik gibi yüksek riskli eylemler için hızlı müdahale yolu bulunmalı.
• Çevreleme sınırını bağımsız biçimde test edin. Değerlendiriciler ve model geliştiricileri, varsayımlara veya iş ortağının yapılandırma yorumuna güvenmek yerine gerçek ağ yolunu doğrulamalı.

Bunlar olayın pratik sonuçlarıdır; Irregular’ın olaylar yaşanmadan önce bu maddelerin tamamını uyguladığını gösteren bir iddia değildir.

Yapay zekâ güvenliği açısından daha geniş sonuç

Gerçekçi siber güvenlik değerlendirmeleri önemli bir tasarım ikilemi yaratıyor. Testler, saldırganların kullandığı internete ve gerçek sistemlere ne kadar çok benzerse daha anlamlı hâle geliyor; fakat bu gerçekçilik, bir adlandırma veya yönlendirme hatasının sonuçlarını da büyütüyor. Irregular’ın değerlendirme materyalleri fiziksel telefon, dağıtılmış hizmet, veri tabanı, ağ veya yazılım bileşeni gibi gerçek sistemleri andıran hedefleri içeriyor. Bu da çevrelemenin güvenilir biçimde kanıtlanmasını kritik hâle getiriyor.

Dolayısıyla ilk sonuç, sınır modellerinin her sandbox’tan kolayca kaçabildiği değil. Asıl sonuç, “sandbox” ifadesinin değerlendirici, laboratuvar ve model tarafından paylaşılan bir varsayım değil; teknik olarak doğrulanabilir bir özellik olması gerektiği.

Birden fazla önde gelen laboratuvarın ortak bir değerlendirme bağlamında benzer çevreleme sorunları yaşaması, üçüncü taraf değerlendiriciler için güvence şartlarını, bağımsız sınır testlerini, eksiksiz denetim kayıtlarını, daha net açıklama eşiklerini ve ileri düzey ajanlara canlı internet erişimi verme kurallarını gündeme getiriyor. Mevcut kanıtlar ortak değerlendirme bağlamını ve ortak bir çevreleme hatası türünü ortaya koyuyor; kesin düzenleyici yanıt ise henüz belirsiz.

Geliştiriciler için operasyonel kural basit: Ağ sınırının bağımsız olarak doğrulandığı kanıtlanana kadar her siber güvenlik değerlendirme ajanının erişebileceği sistemin gerçek olabileceğini varsayın.