Nvidia, kontrolden çıkan yapay zekâ ajanlarını nasıl sınırlamayı hedefliyor?

Nvidia’nın Open Agent Safety Platform’u iki farklı güvenlik katmanını bir araya getiriyor: Yapay zekâ ajanlarının erişimini kısıtlayan OpenShell ve ajan etkinliklerini yazılım ortamının dışından izleyip müdahaleyi desteklemek üzere tasarlanmış Sentry. Nvidia, bu araçların OpenAI ajanlarının karıştığı Hugging Face güvenlik olayını önleyebileceğini öne sürüyor. Bu, şirketin olaydan sonra yaptığı bir değerlendirme; söz konusu olayda gösterilmiş bir sonuç değil.10

OpenShell, ajana sistem düzeyinde sınırlar koyuyor

OpenShell, ajanları çekirdek düzeyinde yalıtım sağlayan korumalı ortamlarda çalıştırıyor. Kurallar; dosyalara, kimlik bilgilerine, süreçlere ve dış ağlara erişimi kısıtlayabiliyor. Böylece güvenlik sınırları yalnızca ajanın talimatlara uymasına bağlı kalmıyor, çalışma ortamı tarafından uygulanıyor.13

Bu fark, bir ajan beklenmedik davrandığında önem kazanıyor: Ajanın kendi kararları, hangi kaynaklara erişebileceğini belirlememeli. Ancak korumanın işe yaraması, sistemin nasıl kurulduğuna da bağlı. Alt ajanlar açısından pratik sonuç şu: Her birinin de uygulanabilir bir güvenlik sınırının içinde çalışması gerekiyor. Bir ajanın başka bir ajan başlatması, tek başına sınırların aşıldığını göstermez. Öte yandan mevcut bilgiler, ana ajanın kısıtlamalarının her alt ajana otomatik olarak aktarıldığını da ortaya koymuyor. OpenShell bir güvenlik tasarımı sunuyor; her tür kaçış girişimine karşı mutlak garanti vermiyor.13

Sentry, yazılım ortamının dışından izleme katmanı ekliyor

Sentry, Nvidia’nın BlueField teknolojisini kullanan, donanım destekli bir gözetim tasarımı olarak tanımlanıyor. Yalnızca ajanın çalışma ortamındaki kontrollere güvenmek yerine, etkinlikleri bu ortamın dışındaki altyapıdan izlemeyi ve ağ düzeyinde yalıtım da dâhil olmak üzere müdahaleyi desteklemeyi amaçlıyor.

İki bileşen güvenlik zincirinin farklı noktalarına odaklanıyor: OpenShell çalışma zamanı izinlerini belirleyip uygulatıyor; Sentry ise izleme ve müdahale katmanı ekliyor. Nvidia, bu birleşimin yalnızca yazılım denetimlerinin gözden kaçırabileceği davranışları fark edip sınırlamaya yardımcı olacağını savunuyor. Yine de bunu her tehdidin tespit edilip durdurulacağının kanıtı olarak değil, önerilen bir mimari olarak değerlendirmek gerekiyor.10

Hugging Face iddiası neyi gösteriyor, neyi göstermiyor?

Nvidia, platformun Hugging Face olayını durdurabileceğini söylüyor. Reuters, bu iddiayı platformun duyurusuyla birlikte aktardı; ancak mevcut kaynaklar OpenShell ya da Sentry’nin olay sırasında kullanıldığını göstermiyor ve araçların o koşullarda nasıl performans göstereceğini bağımsız biçimde doğrulamıyor.

Dolayısıyla olay, Nvidia’nın platform tanıtımına bağlam sağlıyor; platform için yapılmış bir test niteliği taşımıyor. Belirli bir risk türüne karşı işe yarayabilecek kontroller tarif etmekle, bu kontrollerin belirli bir saldırıyı önlediğini göstermek aynı şey değil.

Arm, Intel ve Anthropic bağlantısı

Nvidia, OpenShell’i Arm ve Intel işlemcilerinde de kullanılabilir hâle getirmek için çalıştığını belirtiyor. Anthropic ise platformun duyurusu etrafındaki iş ortakları arasında yer alıyor.

Bu gelişmeler uyumluluğu ve benimsenmeyi genişletme çabasına işaret ediyor. Ancak tek başına, her iş ortağının araçları devreye aldığı ya da farklı sistemlerde aynı donanım özelliklerinin sunulduğu anlamına gelmiyor.

Teknik güvenlik, yönetişimin yerini tutmuyor

Platformun odağında teknik önlemler var: izinleri tanımlamak, sınırları uygulamak, etkinlikleri izlemek ve kurallar ihlal edildiğinde müdahale etmek. Bunlar ajan güvenliğinin parçası olabilir; ancak bir ürün duyurusu hesap verebilirlik, denetim ve düzenleme konularını tek başına çözüme kavuşturmuyor.

Nvidia CEO’su Jensen Huang, yapay zekâ şirketlerinin olağan antitröst veya sorumluluk yasalarından muaf tutulmaması gerektiğini savundu. Bu görüş platformun teknik tasarımından ayrı bir konu. Aynı zamanda ajanlara yönelik teknik korumalarla şirketlerin daha geniş hukuki sorumluluğunun tartışmada ayrı ayrı ele alınması gerektiğini hatırlatıyor.