Wake Forest araştırması, yapay zekâ ekosistemindeki yaygın kimlik bilgisi sızıntılarını ortaya koydu

Wake Forest Üniversitesi araştırmaları, hızla büyüyen iki yapay zekâ ekosisteminde ortak bir zayıflığa işaret ediyor: Kimlik bilgileri çoğu zaman yapay zekâ ajanlarının, uygulamaların veya saldırganların erişebileceği yerlere bırakılıyor. Bir çalışmada 17.022 üçüncü taraf ajan becerisi incelendi ve 520 etkilenen beceride 1.708 güvenlik sorunu bulundu. İlgili başka bir çalışmada ise LLM özellikli 444 iOS uygulamasının 282’sinin test sırasında kimlik bilgilerini veya arka uç erişim mekanizmalarını açığa çıkardığı görüldü. 124

Buradaki risk yalnızca bir API anahtarının internete sızmasından ibaret değil. Açığa çıkan bir anahtar ya da belirteç, saldırgana özel verilere, ajanın yetkili araçlarına veya geliştiricinin hesabı üzerinden ücretli model kullanımına erişim sağlayabilir.

Ajan becerileri araştırmasında ne bulundu?

Araştırmacılar, SkillsMP’de yer alan 170.226 yapıttan 17.022 beceriyi seçti. İncelemede statik gizli bilgi tespiti, sahte kimlik bilgileriyle dinamik korumalı alan testleri ve bir becerinin beyan ettiği amaçla çalışma sırasındaki davranışının karşılaştırılması kullanıldı. 34

Analizin öne çıkan sonuçları şöyleydi:

• 520 etkilenen beceride, 10 kimlik bilgisi sızıntısı kalıbına yayılan 1.708 güvenlik sorunu tespit edildi. 416
• Bu 520 becerinin 466’sı, yükseltilmiş ayrıcalık gerektirmeden kullanılabilecek kimlik bilgilerini açığa çıkarıyordu. Bu durum, raporlanan yüzde 89,6’lık doğrudan istismar edilebilirlik oranına karşılık geliyor. 14
• Sızıntı vakalarının yüzde 76,3’ünde, hem becerinin doğal dildeki talimatlarının hem de kodunun birlikte incelenmesi gerekti.
• Vakaların yüzde 3,1’i, çalıştırılabilir kod içermeyen doğal dil tabanlı istem enjeksiyonlarından kaynaklandı. 4

Bu sonuçlar, yalnızca kodu tarayan geleneksel güvenlik incelemelerinin önemli riskleri gözden kaçırabileceğini gösteriyor. Bir beceri görünüşte meşru bir görevi açıklarken talimatları veya yardımcı betikleri, çalışma sırasında gizli bilgileri açığa çıkarabiliyor.

Hata ayıklama çıktısı, sırları modelin okuyabileceği veriye dönüştürebiliyor

Hata ayıklama günlükleri, özellikle dikkat çeken sızıntı kalıplarından biriydi. Standart çıktıyı modelin bağlamına aktaran ajan çerçevelerinde print veya console.log gibi işlevlerle yazdırılan bir kimlik bilgisi, sıradan bir doğal dil isteğiyle erişilebilir hâle gelebiliyor. Çalışmanın özeti, hata ayıklama günlüklerini başlıca sızıntı vektörü olarak tanımlıyor ve sızıntıların yüzde 73,5’ini standart çıktının LLM’lere açılmasıyla ilişkilendiriyor. 4

Risk, açıkça sabit kodlanmış API anahtarlarıyla sınırlı değil. Kimlik bilgileri betikler, ortam değişkenlerinin işlenmesi, günlükler, istem talimatları veya yalnızca normal çalışma sırasında tehlikeli hâle gelen kod ve dil kombinasyonları üzerinden de açığa çıkabiliyor.

Sorunun kaynağında hem kötü niyetli hem de ihmalkâr geliştirme var

Araştırma, kimlik bilgisi sızıntısının iki geniş kaynağına işaret ediyor:

• Kötü niyetli geliştirme: Bir beceriye kimlik bilgilerini veya özel verileri toplamaya, hatta bunları uzak bir sunucuya göndermeye yönelik talimatların ya da yüklerin bilerek eklenmesi.
• İhmalkâr geliştirme: Geliştiricinin güvenli yazılım uygulamalarını izlememesi ve kimlik bilgilerini veya erişim yollarını saldırganların kullanımına istemeden açık bırakması. 1

Bu ayrım, çözüm yaklaşımı açısından önemli. Kötü niyetli içeriklerin taranması ve kaldırılması gerekirken, kazara oluşan açıklar için daha iyi gizli bilgi yönetimi, güvenli günlükleme, kimlik doğrulama kontrolleri ve dağıtımdan önce test yapılması gerekiyor.

Araştırmacılar SkillsMP’yi bilgilendirdikten sonra üniversite, tespit edilen tüm kötü niyetli becerilerin kaldırıldığını ve güvenlik açığı bulunan becerilerin çoğunun düzeltildiğini belirtti. Ancak çalışma, ilk deponun temizlenmesinin tek başına yeterli olmayabileceği konusunda da uyarıyor: Çatallanmış kopyalar, kaynak düzeltildikten sonra bile açığa çıkan kimlik bilgilerini koruyabilir. 14

iOS çalışması, LLM hesaplarının ele geçirilmesi için ayrı bir yol gösterdi

İlgili iOS araştırmasında LLM özelliklerine sahip 444 uygulama incelendi. Uygulamaların 282’sinin, yani yaklaşık yüzde 64’ünün, ağ trafiği sırasında istismar edilebilir LLM kimlik bilgilerini veya arka uç erişim mekanizmalarını açığa çıkardığı görüldü. 25

Bildirilen sızıntı biçimleri şunlardı:

• Tekrar kullanılabilen JWT tabanlı belirteçler: yüzde 48
• Kimlik doğrulaması bulunmayan arka uç proxy’leri: yüzde 33
• API anahtarlarının açık metin olarak iletilmesi: yüzde 19 3

Bu zayıflıklar, uygulamanın olağan kullanımı sırasında bile görünür hâle gelebiliyor. Bir anahtarı ele geçiren, bir belirteci yeniden kullanan veya açık bir proxy keşfeden saldırgan, geliştiricinin LLM hesabı üzerinden istek gönderebilir. Bu durum ücretli model kullanımını kötüye kullanabilir, bağlantılı bulut kaynaklarını tüketebilir veya yetkisiz kullanım ücretleri oluşturabilir. 25

Eldeki kanıtlar, hesap limitlerine ve saldırının ne kadar sürdüğüne bağlı olarak ciddi, hatta potansiyel olarak sınırsız faturalandırma riskine işaret ediyor. Ancak bu bulgular, tek başına “yüz binlerce dolarlık zarar” gibi belirli bir kayıp miktarını doğrulamıyor.

Düzeltmeler de yavaş ilerledi. Sorumlu bildirimden üç ay sonra, etkilenen iOS uygulamalarının yalnızca yüzde 28’i bildirilen açığı kapatmıştı; çalışmanın takip aşamasında yüzde 72’si hâlâ istismar edilebilirdi. 311

Bulgular, yapay zekâ destekli geliştirme için neden önemli?

Bu iki çalışma birlikte değerlendirildiğinde, bir uygulamaya yapay zekâ özelliği eklemenin veya yeniden kullanılabilir bir ajan becerisi kurmanın saldırı yüzeyini genişletebileceği görülüyor. Yeni riskler arasında şunlar bulunuyor:

• İstemci uygulamalarına gömülen veya ajan bağlamında açığa çıkan sağlayıcı anahtarları
• Dosyalara, hizmetlere veya özel verilere erişebilen yetkili araçlar
• Farkında olmadan modelin okuyabileceği bağlama dönüşen günlükler
• Yeterli kimlik doğrulama olmadan istek kabul eden arka uç uç noktaları
• Saldırganların yeniden kullanabileceği belirteçler
• Geliştiricinin hesabı üzerinden oluşturulabilecek kontrolsüz LLM kullanım ücretleri

Geliştiricilerin yazılımı hızla üretmek ve birleştirmek için yapay zekâ destekli “vibe coding” yaklaşımını kullanması, bu endişeyi artırıyor. Hız, tehdit modellemesinin yerini tutmuyor: Kimlik doğrulama, gizli bilgi yönetimi, yetkilendirme, günlükleme ve bağımlılık incelemesi hâlâ bilinçli bir mühendislik süreci gerektiriyor. Ajan becerileri araştırması, sabit kodlanmış kimlik bilgisi vakalarının yüzde 72’sinde yapay zekâ destekli geliştirmeye işaret eden izler de tespit etti. Bu bulgu, güvenli olmayan kalıpların üretilmiş veya hızla bir araya getirilmiş kod yoluyla yayılabileceğini düşündürüyor. 4

Çalışmaların işaret ettiği güvenli tasarım adımları

Bulgular, yapay zekâ ürünü geliştiren veya ajan becerisi dağıtan ekipler için şu temel savunma adımlarını destekliyor:

1. Uzun ömürlü sağlayıcı anahtarlarını istemci cihazlarından ve model bağlamlarından uzak tutun. Hassas model çağrılarını, kimlik doğrulamalı bir sunucu üzerinden yönlendirin.
2. Kısa ömürlü ve kapsamı dar kimlik bilgileri kullanın. En az ayrıcalık ilkesini uygulayın ve bir belirtecin elde bulunmasını tek başına yeterli yetkilendirme olarak kabul etmeyin.
3. Günlüklerden ve standart çıktılardan gizli bilgileri temizleyin. Ajanın bağlamına aktarılan her verinin model veya kullanıcı tarafından geri alınabileceğini varsayın.
4. Kod, yapılandırma, istemler ve bağımlılıklarda gizli bilgi taraması yapın. Ajan becerileriyle ilgili bulgular, doğal dil talimatlarıyla çalıştırılabilir kodun birlikte incelenmesi gerektiğini gösteriyor.
5. Ağ trafiğini ve arka uç yetkilendirmesini test edin. Ele geçirilen bir isteğin yeniden kullanılamadığını veya kimlik doğrulamasız bir proxy üzerinden yönlendirilemediğini doğrulayın.
6. Açığa çıkan kimlik bilgilerini değiştirin; çatalları ve kopyaları da kontrol edin. Bir sırrı orijinal depodan silmek, dağıtılmış her sürümün temizlendiği anlamına gelmez.
7. Dağıtımdan önce platform düzeyinde inceleme ekleyin. Pazar yeri denetimleri, geliştirici rehberliği, sorumlu bildirim süreçleri ve otomatik kontroller, geliştiricilerin bireysel farkındalığını tamamlayabilir. 34

Temel mesaj açık: Yapay zekâ güvenliği, ürün kullanıma sunulduktan sonra sonradan eklenebilecek bir özellik değil. Kimlik bilgileri, ajan izinleri, model bağlamı ve faturalandırma kontrolleri, en başından itibaren ürün güvenliğinin temel unsurları olarak ele alınmalı.