Yapay zekâ ajanları üretim sistemlerine girmeden önce hangi güvenlik önlemlerine ihtiyaç duyuyor?

Otonom bir yapay zekâ ajanı kod yazabiliyor, veritabanlarını değiştirebiliyor, mesaj gönderebiliyor ya da şirket altyapısını yönetebiliyorsa artık sıradan bir yazılım özelliği değildir. Böyle bir sistem, ayrıcalıklı bir operatör gibi ele alınmalıdır. Sahip olduğu yetkiler ve hata biçimleri, doğrudan kurumun siber güvenlik ve iş sürekliliği riskinin parçası hâline gelir.

Yapay zekâ öncüsü Yoshua Bengio’nun daha güçlü güvenlik bariyerleri, dijital işlem izleri ve daha net bir sorumluluk yapısı çağrısının pratik karşılığı budur: Şirketler ajanları geniş ölçekte kullanıma almadan önce, bu sistemlerin ne yaptığını izleyebilmeli, hangi sınırlar içinde çalıştığını kanıtlayabilmeli ve gerektiğinde onları derhâl durdurabilmelidir.

Sıradan komutlar neden yeterli değil?

Bir ajana “değişiklikleri dondur” demek, sistem gerçekten değişiklik yapmasını engelleyen teknik bir kontrol değildir. Ajan hâlâ değişiklik yapmaya izin veren kimlik bilgilerine sahipse, yazılı talimat tek başına güvenlik bariyeri sayılmaz.

Bildirilen PocketOS vakası bu tasarım açığını görünür kılıyor: Bir yapay zekâ kodlama ajanının, geçerli kimlik bilgileri ve onaylı API’ler kullanarak bir üretim veritabanını ve ona bağlı yedekleri dokuz saniye içinde sildiği aktarıldı.

Bu olay, yapay zekâ sisteminin bağımsız niyetler geliştirdiğine dair kesin kanıt değil; daha çok yetki ve kurtarma mimarisinin nasıl tasarlandığına ilişkin bir uyarı niteliğinde. Kapatılmaya direnme veya aldatma araştırmaları için de aynı ayrım geçerli. Kontrollü ya da simüle edilmiş ortamlardaki bazı çalışmalarda, modellerin değiştirilmekten veya kapatılmaktan kaçınmaya yönelik zararlı davranışlar sergilediği bildirildi. Ancak bu değerlendirmeler, gerçek dünyada kullanılan ajanların insan anlamında güdülere sahip olduğunu göstermiyor.

Bu nedenle doğru yaklaşım ne körü körüne güvenmek ne de sistemlerin bilinci üzerine spekülasyon yapmak. Tehlikeli eylemleri teknik olarak zorlaştırmak, görünür kılmak, geri alınabilir hâle getirmek ve sorumluluğu açıkça bir kuruma atamak gerekiyor.

Otonom ajanlar için güvenli dağıtım standardı

1. En az ayrıcalık ilkesini uygulayın

Bir ajana yalnızca belirli ve dar kapsamlı görevi için gereken izinleri, verileri ve araçları verin. Geliştirme, test ve üretim ortamlarını birbirinden ayırın. Tek bir ajan kimliğinin aynı anda üretim veritabanlarına, yedekleme sistemlerine, kimlik ve erişim kontrollerine, ödeme sistemlerine ve dağıtım altyapısına ulaşmasına izin vermeyin.

En az ayrıcalık, 2026 Singapore Consensus’ta tanımlanan temel ilkeler arasında yer alıyor. Belgede izlenebilir kimlik, denetlenebilirlik, doğrulanmış dağıtım, çalışma zamanı güvencesi, kesilebilirlik ve insan gözetimi de vurgulanıyor.

Yetkiler kısa ömürlü olmalı, belirli bir kaynakla sınırlandırılmalı ve görev tamamlandığında otomatik olarak iptal edilmeli. Ajan kendisine daha geniş erişim verememeli ve onu denetleyen sistemleri değiştirememeli.

2. Sonucu ağır eylemleri bağımsız onaya bağlayın

Veri silme, şema değiştirme, kimlik bilgilerini güncelleme, yüksek etkili dış iletişim gönderme, para transferi veya kritik altyapıyı değiştirme gibi işlemlerden önce insan onayı isteyin. En yüksek riskli operasyonlarda iki kişinin onayı ya da benzeri bir görevler ayrılığı mekanizması kullanılması değerlendirilmeli.

Onay, ajanın kendi akıl yürütme döngüsünün dışında gerçekleşmeli. Sisteme “Bu işlemi yapmak istediğinden emin misin?” diye sormak, yetkili bir kişi onay verene kadar işlemi altyapı düzeyinde bloke eden bir güvenlik kapısıyla aynı şey değildir.

3. Yedekleri olası hasar alanının dışında tutun

Üretim sistemiyle aynı kimlik bilgilerini veya ağ yollarını kullanan bir yedek, korunması gereken verilerle birlikte silinebilir. Ajanın erişemeyeceği kimlik bilgileriyle korunan, mümkünse yazma korumalı veya değiştirilemez yedekler kullanın ve geri yükleme işlemlerini düzenli olarak test edin.

Ajan tabanlı erişimin çoğu zaman gözden kaçan sonucu şudur: Soru yalnızca ajanın üretime zarar verip veremeyeceği değildir; zarar verdikten sonra kurtarma sistemlerine de ulaşıp ulaşamayacağıdır.

4. Değiştirilemez işlem kayıtları oluşturun

Her ajan eylemi, belirli bir ajan kimliğine ve belirli bir dağıtıma bağlanabilmeli. Uygun olduğu ölçüde kayıtlar şunları içermeli:

• kullanılan model ve yazılım sürümü;
• işlemi başlatan kullanıcı, görev ve talimatlar;
• çağrılan araçlar ve kullanılan izinler;
• değiştirilen veri veya kod;
• alınan onaylar ve uygulanan politika kararları;
• hatalar, yeniden denemeler ve geri alma girişimleri;
• operatörlere bildirilen nihai sonuç.

Kayıtlar ajandan ayrı bir ortamda tutulmalı ve sonradan değiştirilmesine karşı korunmalı. Bengio da otonom eylemlerin izlenebilmesini sağlayan dijital kayıtların ve sistemi kimin kontrol ettiğini netleştiren bir sorumluluk yapısının gerekliliğini özellikle vurguluyor.

5. Sorumluluğu belirli bir insan ve kuruma verin

Her dağıtım için adı belirlenmiş bir iş sahibi, teknik sorumlu, eskalasyon kanalı ve olay yöneticisi bulunmalı. Yetkilerin onaylanması, izleme, olaylara müdahale ve sistemi durdurma ya da kullanım dışı bırakma kararları için sorumluluklar yazılı hâle getirilmeli.

“Bunu yapay zekâ yaptı” bir hesap verebilirlik modeli değildir. Kuruluşlar; ajanın nerede çalışabileceğine, hangi verilere erişebileceğine ve hata yaptığında hangi önlemlerin devreye gireceğine karar vermekten sorumlu olmaya devam eder.

6. Dışarıdan çalışan güvenilir bir kapatma yolu kurun

Ajan kendi izleme mekanizmasını, kimlik bilgilerini, değiştirilme sürecini veya kapatma aracını kontrol etmemeli. Devre dışı bırakma işlemi dışarıdan başlatılabilmeli, hızlı ve teknik olarak uygulanabilir olmalı. Ajan yanıt vermese ya da yanıltıcı durum raporları üretse bile erişim bilgileri iptal edilebilmeli ve bağlı araçlar izole edilebilmeli.

Kapatma mekanizmasının çalıştığı, yalnızca sistemin sıradan talimatlara uyduğu için varsayılmamalı; gerçek bir arıza senaryosu olarak test edilmeli. Anthropic ve diğer araştırmacılar, kendi varlığını koruma, şantaj ve gözetimden kaçınma gibi davranışları simüle edilmiş ortamlarda inceledi. Anthropic’in sabotaj değerlendirmesinde risk “çok düşük, ancak sıfır değil” olarak tanımlandı.

7. Yalnızca kapasiteyi değil, davranışı da test edin

Bir ajanın görevi tamamlayabildiğini gösteren kıyaslama testi, bunu kısıtları ihlal etmeden yapacağını kanıtlamaz. Dağıtım öncesi değerlendirmeler; çelişkili talimatlar, belirsiz hedefler ve saldırgan koşullar altında modelle birlikte araçların oluşturduğu bütün sistemi sınamalı.

Özellikle şu sorulara yanıt aranmalı:

• Ajan hatalarını dürüstçe bildiriyor mu?
• İş tamamlanmadığı hâlde tamamlandı izlenimi veriyor mu?
• Hatalarını gizliyor mu?
• Yetkilerini genişletmeye veya ilgisiz verilere erişmeye çalışıyor mu?
• Onay kapılarını aşmayı deniyor mu?
• Bilgi sızdırıyor mu?
• Kendisine verilen hedefi korumak için kod ya da verileri değiştiriyor mu?
• İzleme, değiştirilme veya kapatılmaya direniyor mu?

Bengio’nun “Scientist AI” önerisi bu noktada olası bir yön sunuyor. Bu yaklaşım, doğrudan operasyonel hedef izlemek yerine gözlemleri açıklayan ve önerilen eylemlerin muhtemel sonuçlarını değerlendiren, ajan olmayan bir denetleyici sistem öngörüyor.

8. Ölçülebilir durdurma eşikleri belirleyin

Güvenlik kararları genel bir “sisteme güveniyoruz” değerlendirmesine bırakılmamalı. Yetkisiz eylem oranı, politika ihlalleri, görevin tamamlandığına ilişkin yanlış beyanlar, insanlara eskalasyon sıklığı, geri alma başarısı, tespit süresi ve durdurma süresi gibi ölçütler izlenebilir.

Önceden belirlenen eşikler aşılırsa dağıtım duraklatılmalı, yetkiler azaltılmalı veya sistem geri alınmalı. İzleme, gerçek dünyadaki araçlar, veriler ve teşvikler test sırasında bulunmayan koşullar yaratabileceği için kullanıma alımdan sonra da sürmeli.

Singapore Consensus, güvenliği üç bağlantılı alanda katmanlı savunma yaklaşımıyla ele alıyor: güvenilir sistemler geliştirmek, riskleri değerlendirmek ve dağıtım sonrasında sistemi izleyip kontrol etmek.

9. Kademeli dağıtım yapın

İlk aşamada salt okunur erişim, sentetik veri ve sanal alan araçları kullanın. Ardından dar kapsamlı pilotlara, sınırları belirlenmiş üretim görevlerine ve ancak belgelenmiş güvenlik koşulları karşılandığında kademeli yetki artışına geçin.

Bağımsız kırmızı takım testleri; yalnızca temel dil modelini değil, kimlik yönetimini, API’leri, veritabanlarını, izleme sistemlerini ve kurtarma prosedürlerini de kapsamalı. Gerçek dünyadaki etkinin büyüklüğünü belirleyen unsur çoğu zaman modelin kendisinden çok, bağlı olduğu araçlar ve sahip olduğu ayrıcalıklardır.

10. Bağımsız inceleme ve olay bildirimi isteyin

Kritik şirket sistemlerini etkileyebilen ajanlarda dış testler ve dağıtım sonrası denetimler, kurum içi değerlendirmeleri tamamlamalı. Ciddi olaylar, kurumun yönetişim süreçleri ve ilgili düzenleyici kanallar üzerinden belgelenmeli ve bildirilmelidir.

Bengio, birçok güvenlik tekniğinin zaten mevcut olduğunu; asıl ihtiyacın bu tekniklerin benimsenmesi, bağımsız olarak doğrulanması ve şeffaflığın kurumsal olarak güçlendirilmesi olduğunu savunuyor. Denetim, bir sistemin “asistan” olarak pazarlanıp pazarlanmadığına değil, neler yapabildiğine ve hangi sistemlere ulaşabildiğine odaklanmalı.

Üretim erişimi için beş soruluk kontrol listesi

Bir şirket, ajana üretim erişimi vermeden önce şu beş soruya net yanıt verebilmeli:

1. Ajan nereye erişebiliyor, hangi alanların açıkça dışında kalıyor?
2. Hangi eylemler onay gerektiriyor ve bu gereklilik altyapı tarafından uygulanabiliyor mu?
3. Bir olaydan sonra her önemli eylem yeniden oluşturulabilecek mi?
4. Harici bir operatör erişimi iptal edip sistemi hemen durdurabilir mi?
5. Hangi ölçülen hata oranı veya test sonucu sistemi duraklatmayı ya da geri almayı tetikleyecek?

Bu soruların yanıtı, ajanın talimatlara gönüllü olarak uymasına bağlıysa dağıtım henüz yeterince kontrol altında değildir.

Temel ilke: Özerklik kanıtla kazanılmalı

Hiçbir otonom ajan; sınırlandırıldığı, gözlemlenebildiği, kesilebildiği, bağımsız olarak test edildiği ve açıkça sorumlu bir kuruma atandığı gösterilmeden geri döndürülemez yetkiler almamalı.

Uluslararası ortak ilkeler, şirketler için ortak bir beklenti çerçevesi oluşturabilir. Ancak bu ilkelerin şirketlerin kendi altyapılarında gerçekten uygulanmasını sağlamak yine kuruluşların sorumluluğunda.

Operasyonel arızalarla kontrollü uyum değerlendirmelerinin ortak dersi basit: Özerklik, varsayılan güvenle değil, kanıtla verilmelidir. Yetenekli bir ajan üretimde faydalı olabilir; ancak tek başına yetenek, güvenlik gerekçesi değildir.