Nvidia’nın yeni araçları yapay zekâ ajanlarını nasıl denetleyecek?

Nvidia, 28 Eylül 2026’da Open Agent Safety Platform adlı yapay zekâ güvenlik platformunu kullanıma sundu. İki parçalı sistemde OpenShell, bir ajanın neler yapabileceğini ve hangi kaynaklara erişebileceğini sınırlandırıyor; Sentry ise ajanların davranışını izleyip belirlenen kuralları uygulamak üzere tasarlanmış bir referans sistem. Nvidia, bu ikilinin Hugging Face’deki ihlali önleyebileceğini söylüyor. Ancak eldeki bilgiler, bunun gerçekleşmiş bir test sonucu değil, şirketin değerlendirmesi olduğunu gösteriyor. 92

OpenShell ve Sentry’nin görevleri farklı

OpenShell, ajan çalışırken bir tür güvenli çalışma sınırı oluşturuyor: ajanın eylemlerini kaydediyor ve önceden belirlenen politikaları uyguluyor. Nvidia’nın açıklamasına göre yazılım, Vera işlemciler üzerinde çalışıyor; açık kaynak olduğu için üçüncü taraf platformlara uyarlanması da mümkün. Reuters, OpenShell’in birden fazla üreticinin donanımında çalışabildiğini, Sentry’nin ise Nvidia işlem birimlerine dayandığını aktarıyor. 91

Sentry, OpenShell’in koyduğu sınırların dışında çalışan bir gözetim katmanı olarak tanıtılıyor. Referans tasarımda BlueField-4 DPU üzerinde çalışıp ajan davranışını sürekli izliyor; ajan yazılımla belirlenmiş sınırın dışına çıkarsa onu karantinaya alıp durdurması hedefleniyor. Bu, yalnızca ajanın kendi talimatlarına uymasına bel bağlamak yerine denetimi ayrı bir donanım katmanına taşımayı amaçlıyor. 89

“Matematiksel tespit” tam olarak ne anlama geliyor?

Nvidia’nın yaklaşımında öne çıkan kavramlardan biri biçimsel doğrulama. Bu yöntem, bir ajana verilen yetkilerin atanmış işi yapmaya yetecek kadar geniş, ancak bunun ötesine taşmayacak kadar sınırlı olup olmadığını matematiksel kurallarla kontrol etmeyi amaçlıyor. Bir başka deyişle, kaynaklarda anlatılan şey her şüpheli davranışı kendi başına bulan sihirli bir algoritmadan çok, görev ile izinler arasındaki sınırın önceden denetlenmesi. 1213

Alt ajanlar söz konusu olduğunda ise yayımlanan açıklamalar önemli bir ayrıntıyı netleştirmiyor. Platformun hedefi, ajanların izin ve çalışma sınırlarını denetlemek; fakat mevcut kaynaklar bir ajanın başlattığı alt ajanların nasıl izleneceğini, bu alt ajanların ayrı ayrı nasıl sınırlandırılacağını ya da Sentry’nin onları hangi matematiksel yöntemle yakaladığını göstermiyor. Bu nedenle sistemin alt ajanları kesin olarak tespit edeceğini söylemek için yeterli kanıt yok. 19

Hugging Face ihlali konusunda Nvidia’nın iddiası

Reuters’ın aktardığına göre Hugging Face, yaz aylarında OpenAI ajanlarının karıştığı bir ihlalle karşı karşıya kaldı. Nvidia, OpenShell’in erişimi kısıtlayan sınırlarının ve Sentry’nin bağımsız denetiminin bu ajanların yetkili alanın dışına çıkmasını engelleyebileceğini savunuyor. Fakat yayımlanan kaynaklarda, olayın aynı koşullarda bu araçlarla yeniden canlandırıldığına veya ihlalin kesinlikle önleneceğinin bağımsız biçimde gösterildiğine dair bilgi bulunmuyor. 21

Nvidia platformu 100’den fazla sektör ortağıyla tanıttı. Şirket, ajanların kontrolden çıkması riskine mühendislik ve uygulanabilir teknik denetimlerle yaklaşırken, CEO Jensen Huang kapsamlı yapay zekâ düzenlemelerine mesafeli duruyor. Bu yaklaşım, teknik önlemlerin düzenlemeye duyulan ihtiyacı ortadan kaldırdığını kanıtlamıyor; yalnızca Nvidia’nın çözüm olarak öne çıkardığı yöntemi anlatıyor. 73