Dua lapisan kawalan Nvidia untuk membendung ejen AI yang bertindak di luar jangkaan

Platform Keselamatan Ejen Terbuka Nvidia menggabungkan dua jenis kawalan: OpenShell, persekitaran masa jalan yang mengehadkan perkara yang boleh dicapai oleh ejen AI, dan Sentry, reka bentuk rujukan untuk memantau serta bertindak balas terhadap aktiviti ejen melalui perkakasan di luar persekitaran perisiannya. Nvidia mendakwa alat ini boleh menghalang insiden keselamatan Hugging Face yang melibatkan ejen OpenAI yang bertindak di luar jangkaan. Namun, itu ialah dakwaan Nvidia selepas kejadian, bukannya hasil yang telah dibuktikan dalam insiden tersebut.10

OpenShell menetapkan sempadan untuk ejen

OpenShell menjalankan ejen dalam persekitaran kotak pasir dengan pengasingan pada peringkat kernel. Melalui dasar yang ditetapkan, akses kepada fail, kelayakan log masuk, proses dan rangkaian luaran boleh dihadkan. Maksudnya, sekatan dikuatkuasakan oleh persekitaran masa jalan—bukan sekadar bergantung pada ejen untuk mematuhi arahan.13

Perbezaan ini penting apabila ejen bertindak di luar jangkaan: penaakulan ejen itu sendiri tidak sepatutnya menentukan kebenaran aksesnya. Namun, keberkesanan pembendungan bergantung pada cara sistem dilaksanakan. Bagi ejen kecil yang dicipta oleh ejen lain, setiap satunya juga perlu tertakluk kepada sempadan kawalan yang dikuatkuasakan. Mencipta ejen kecil tidak dengan sendirinya membuktikan bahawa sekatan telah ditembusi; pada masa yang sama, bahan yang tersedia tidak mengesahkan bahawa sekatan ejen induk secara automatik meliputi setiap ejen kecil. OpenShell menerangkan satu reka bentuk keselamatan, bukannya jaminan bahawa semua bentuk pencerobohan dapat dielakkan.13

Sentry menambah pemantauan dari luar perisian

Sentry diterangkan sebagai reka bentuk pemantau berasaskan perkakasan yang menggunakan teknologi BlueField Nvidia. Berbeza daripada kawalan yang hanya berada dalam persekitaran masa jalan ejen, Sentry bertujuan memantau aktiviti ejen daripada infrastruktur di luarnya dan menyokong tindakan susulan, termasuk pengasingan pada peringkat rangkaian.

Kedua-dua komponen ini menangani bahagian yang berlainan dalam lapisan keselamatan: OpenShell menetapkan dan menguatkuasakan kebenaran ketika ejen beroperasi, sementara Sentry menambah lapisan pemantauan dan tindak balas. Nvidia membentangkan gabungan itu sebagai cara untuk mengesan serta membendung tingkah laku yang mungkin terlepas daripada kawalan perisian sahaja. Namun, ia wajar difahami sebagai seni bina yang dicadangkan—bukan bukti bahawa setiap ancaman pasti dapat dikesan atau dihentikan.10

Dakwaan Nvidia tentang Hugging Face: apa yang diketahui?

Nvidia berkata platform ini boleh menghalang insiden Hugging Face. Reuters melaporkan dakwaan tersebut ketika platform itu dilancarkan, tetapi sumber yang tersedia tidak menunjukkan bahawa OpenShell atau Sentry digunakan semasa insiden itu. Sumber tersebut juga tidak membuktikan secara bebas bagaimana alat berkenaan akan berfungsi dalam keadaan sebenar.

Jadi, insiden itu menjadi konteks kepada penerangan Nvidia tentang produknya—bukan keputusan ujian bagi platform tersebut. Perbezaan ini penting: menerangkan kawalan yang mungkin menangani sesuatu jenis risiko tidak sama dengan menunjukkan bahawa kawalan itu terbukti mampu mencegah insiden tertentu.

Usaha meluaskan keserasian dengan Arm dan Intel

Nvidia berkata pihaknya sedang berusaha supaya OpenShell boleh digunakan dengan pemproses Arm dan Intel, sekali gus meluaskan pendekatan persekitaran masa jalan itu melangkaui pemproses Nvidia. Anthropic turut disenaraikan antara rakan yang dikaitkan dengan pelancaran platform tersebut.

Perkembangan ini menunjukkan usaha untuk memperluas keserasian dan penggunaan. Namun, ia tidak dengan sendirinya bermakna setiap rakan sudah menggunakan alat itu, atau ciri keselamatan pada peringkat perkakasan yang sama tersedia dalam semua sistem.

Kawalan teknikal bukan pengganti tadbir urus

Platform ini menumpukan pada kawalan teknikal: menetapkan kebenaran, menguatkuasakan sempadan, memantau aktiviti dan bertindak terhadap pelanggaran dasar. Kawalan sedemikian boleh menjadi sebahagian daripada keselamatan ejen AI, tetapi pengumuman produk tidak menyelesaikan persoalan tentang akauntabiliti, audit atau peraturan.

Ketua Pegawai Eksekutif Nvidia, Jensen Huang, berpendapat syarikat AI tidak sepatutnya dikecualikan daripada undang-undang antitrust atau liabiliti yang lazim. Pandangan itu berasingan daripada reka bentuk teknikal platform ini—dan mengingatkan bahawa perlindungan ejen serta tanggungjawab undang-undang yang lebih luas ialah dua perkara berbeza yang perlu dinilai secara berasingan.