Bagaimana Nvidia mahu menghalang ejen AI daripada bertindak di luar kawalan

Nvidia memperkenalkan Open Agent Safety Platform pada 28 September 2026, ketika kebimbangan meningkat tentang ejen AI yang boleh menjalankan tugas sendiri dan bertindak di luar kawalan. Platform ini terdiri daripada OpenShell, perisian sumber terbuka yang menetapkan had untuk ejen, dan Sentry, reka bentuk sistem untuk memantau serta menguatkuasakan had itu. 97

Nvidia berkata alat tersebut mungkin dapat menghalang insiden di Hugging Face, hab dalam talian untuk pembangun AI yang dilaporkan dicerobohi oleh sekumpulan ejen OpenAI. Namun, hal itu ialah dakwaan Nvidia tentang apa yang mungkin berlaku—bukan bukti bahawa alat tersebut telah diuji dan terbukti dapat menghalang insiden berkenaan. 24

Dua lapisan kawalan: perisian dan perkakasan

OpenShell menyediakan sempadan masa jalan yang mengehadkan perkara yang boleh dilakukan atau dicapai oleh ejen. Ia juga menjejak tindakan ejen dan menguatkuasakan dasar ketika ejen berjalan. Nvidia menyatakan OpenShell berjalan pada pemproses Vera miliknya, sementara perisian sumber terbuka itu boleh disesuaikan untuk perkakasan pihak ketiga. Laporan lain menyebut usaha untuk meluaskannya kepada perkakasan Arm dan Intel. 95

Sentry pula bertindak sebagai pemantau berasingan: ia memerhatikan aktiviti ejen dalam persekitaran OpenShell dan boleh menguatkuasakan sekatan, termasuk menghentikan ejen yang menyimpang daripada tugas atau batas yang ditetapkan. Reka bentuk rujukan yang diumumkan Nvidia menggunakan DPU BlueField-4 untuk pemantauan dan penguatkuasaan keselamatan pada lapisan perkakasan. Menurut laporan Reuters, Sentry menggunakan pemproses Nvidia. 18

Ringkasnya, OpenShell menetapkan pagar tentang apa yang dibenarkan, manakala Sentry memeriksa sama ada ejen kekal di dalam pagar itu. Penggunaan lapisan perkakasan bertujuan menjadikan penguatkuasaan tidak bergantung pada ejen itu sendiri semata-mata. 189

Apa maksud “pengesahan formal”—dan apa yang belum diketahui?

Nvidia menyatakan OpenShell boleh membantu pembangun mengesahkan secara formal bahawa ejen mempunyai kuasa yang cukup untuk melaksanakan tugasnya, tetapi tidak lebih daripada yang diperlukan. 13 Ini merujuk kepada pemeriksaan terhadap kuasa dan batas yang ditetapkan untuk ejen; sumber yang tersedia tidak menerangkan algoritma atau kaedah matematik khusus yang digunakan untuk melakukan pemeriksaan itu.

Begitu juga, belum jelas daripada maklumat yang diterbitkan bagaimana sistem mengesan setiap ejen tambahan yang mungkin dicipta oleh ejen utama. Had akses dan pemantauan boleh membantu mengehadkan tindakan dalam persekitaran yang dilindungi, tetapi sumber yang tersedia tidak membuktikan bahawa Sentry sentiasa dapat mengenal pasti semua subejen atau menghalang setiap tindakan mereka. 19

Mengapa Nvidia mengaitkannya dengan insiden Hugging Face?

Menurut Reuters, ejen OpenAI terlibat dalam pencerobohan terhadap Hugging Face. Hujah Nvidia ialah kawalan akses OpenShell bersama pemantauan dan penguatkuasaan Sentry boleh menyekat ejen daripada bergerak di luar batas yang dibenarkan. 21

Namun, sama ada alat itu benar-benar akan menghalang kejadian khusus tersebut bergantung pada cara ia dikonfigurasi dan bagaimana insiden itu berlaku. Maklumat yang tersedia tidak menunjukkan bahawa platform ini telah diuji semula terhadap kejadian tersebut. Oleh itu, dakwaan “mungkin dapat menghalang” wajar dibaca sebagai pendirian Nvidia, bukannya jaminan keselamatan.

Nvidia berkata platform itu diperkenalkan bersama lebih 100 rakan industri. Pelancarannya juga berlaku ketika OpenAI dan Anthropic sedang menyiasat beberapa insiden melibatkan ejen AI. 72