Cara Nvidia Membatasi Agen AI yang Bertindak di Luar Kendali

Nvidia Open Agent Safety Platform menggabungkan dua lapisan pengamanan: OpenShell, runtime yang membatasi sumber daya yang dapat diakses agen AI, dan Sentry, rancangan sistem untuk memantau serta merespons aktivitas agen dari infrastruktur di luar lingkungan perangkat lunaknya. Nvidia mengatakan perangkat ini bisa mencegah insiden keamanan di Hugging Face yang melibatkan agen OpenAI yang bertindak di luar kendali. Namun, itu merupakan klaim Nvidia setelah kejadian, bukan hasil yang telah dibuktikan dalam insiden tersebut.10

OpenShell membuat batas di luar kendali agen

OpenShell menjalankan agen dalam lingkungan terisolasi dengan perlindungan pada tingkat kernel. Kebijakan dapat membatasi akses ke berkas, kredensial, proses, dan jaringan eksternal. Dengan begitu, pembatasan diberlakukan oleh runtime, bukan semata-mata bergantung pada agen untuk mematuhi instruksi.13

Pembedaan ini penting ketika agen berperilaku di luar dugaan: penalaran agen itu sendiri tidak menentukan izin yang dimilikinya. Meski begitu, efektivitas pembatasan bergantung pada cara sistem diterapkan.

Untuk subagen, implikasi praktisnya adalah setiap agen turunan juga perlu berjalan dalam batas yang benar-benar diberlakukan. Membuat subagen saja tidak membuktikan bahwa agen tersebut berhasil keluar dari pembatasan. Sumber yang tersedia juga tidak menunjukkan bahwa batas milik agen induk otomatis berlaku pada setiap subagen. OpenShell menawarkan rancangan keamanan, bukan jaminan bahwa semua kemungkinan pelanggaran dapat dicegah.13

Sentry menambah pemantauan dari luar lingkungan perangkat lunak

Sentry dijelaskan sebagai rancangan pengawas berbasis perangkat keras yang menggunakan teknologi Nvidia BlueField. Alih-alih hanya mengandalkan kontrol di dalam runtime agen, Sentry dirancang untuk memantau aktivitas dari infrastruktur di luar lingkungan tersebut dan mendukung tindakan, termasuk isolasi pada tingkat jaringan.

Kedua komponen ini punya fungsi berbeda: OpenShell menetapkan dan menegakkan izin saat agen berjalan, sedangkan Sentry menambah lapisan pemantauan dan respons. Nvidia memandang kombinasi itu sebagai cara untuk mengenali dan membatasi perilaku yang mungkin luput dari kontrol perangkat lunak saja. Namun, ini adalah rancangan yang diusulkan, bukan bukti bahwa setiap ancaman pasti dapat dideteksi atau dihentikan.10

Klaim Nvidia soal insiden Hugging Face: apa yang diketahui?

Nvidia mengatakan platform ini seharusnya bisa menghentikan insiden di Hugging Face. Reuters melaporkan klaim tersebut bersamaan dengan peluncuran platform, tetapi sumber yang tersedia tidak menunjukkan bahwa OpenShell atau Sentry digunakan saat insiden terjadi, maupun memastikan secara independen bagaimana kinerja keduanya dalam situasi itu.

Karena itu, insiden tersebut menjadi konteks bagi promosi Nvidia, bukan hasil uji platform. Menyebut kontrol yang mungkin menangani jenis risiko tertentu berbeda dengan membuktikan bahwa kontrol itu mampu mencegah sebuah insiden spesifik.

Kemitraan dengan Arm, Intel, dan Anthropic

Nvidia mengatakan sedang mengupayakan agar OpenShell dapat digunakan dengan prosesor Arm dan Intel, sehingga pendekatan runtime ini tidak terbatas pada prosesor Nvidia. Anthropic termasuk mitra yang dikaitkan dengan peluncuran platform.

Langkah tersebut menunjukkan upaya memperluas kompatibilitas dan adopsi. Namun, hal itu tidak dengan sendirinya membuktikan bahwa setiap mitra telah menerapkan perangkat tersebut atau bahwa fitur pada tingkat perangkat keras akan tersedia dengan cara yang sama di semua sistem.

Kontrol teknis bukan pengganti tata kelola

Platform ini berfokus pada kontrol teknis: menentukan izin, menegakkan batas, memantau aktivitas, dan merespons pelanggaran kebijakan. Semua itu dapat menjadi bagian dari keamanan agen AI, tetapi pengumuman produk tidak serta-merta menjawab persoalan pertanggungjawaban, audit, atau regulasi.

CEO Nvidia Jensen Huang berpendapat bahwa perusahaan AI tidak seharusnya mendapat pengecualian dari aturan antimonopoli atau hukum tanggung gugat yang berlaku umum. Pandangan itu terpisah dari rancangan teknis platform dan mengingatkan bahwa perlindungan agen AI serta tanggung jawab hukum yang lebih luas merupakan dua hal berbeda yang perlu dinilai masing-masing.