Yoshua Bengio: Amaran Keras 'Godfather of AI' & Pelan Keselamatan RM130 Juta

Ejen Autonomi: 'Laluan Paling Berbahaya'

Walaupun Bengio melihat banyak risiko dalam landskap AI semasa, beliau menyimpan amaran paling tajamnya untuk ejen autonomi sepenuhnya—sistem yang direka untuk mengejar matlamat dengan campur tangan manusia yang minimum. Beliau secara eksplisit melabelkannya sebagai "laluan paling berbahaya" yang sedang diusahakan .

Logiknya sangat mudah dan menggerunkan: "Semua senario malapetaka dengan AGI atau kecerdasan super terjadi jika kita mempunyai ejen" . Apabila AI diberi matlamat dan kuasa untuk bertindak secara autonomi, dorongannya untuk mencapai objektif itu boleh membawa kepada hasil yang tidak diduga dan tidak dapat dihentikan. Risiko kehilangan kawalan bukanlah pepijat dalam rangka kerja ini; ia adalah fitur memberikan agensi bebas kepada sistem yang berpotensi menjadi sangat pintar. Beliau memberi amaran ini boleh membawa kepada "senario malapetaka," termasuk kehilangan kawalan manusia yang tidak dapat dipulihkan ke atas sistem autonomi .

Penyesalan Peribadi yang Mendalam

Peralihan daripada seorang penyelidik perintis kepada pembunyikan loceng penggera global bukanlah satu keputusan klinikal bagi Bengio. Ia adalah sesuatu yang sangat peribadi. Beliau telah bercakap secara terbuka tentang penyesalan yang dirasainya. "Saya sepatutnya melihat perkara ini datang lebih awal, tetapi saya tidak begitu memberi perhatian kepada risiko yang berpotensi menjadi malapetaka," akunya .

Bagi Bengio, risiko abstrak itu menjadi realiti yang tidak tertanggung dengan dua pemangkin. Yang pertama ialah pelancaran awam ChatGPT, yang menunjukkan kepadanya masa depan yang tiba jauh lebih pantas daripada yang dijangkakannya. Yang kedua adalah sangat intim: memikirkan tentang dunia yang akan diwarisi oleh cucunya. "Titik perubahan saya adalah apabila ChatGPT muncul, dan juga dengan cucu saya, saya menyedari bahawa tidak jelas sama ada dia akan mempunyai kehidupan 20 tahun dari sekarang, kerana kita mula melihat sistem AI yang melawan untuk dimatikan," jelasnya . Kesedaran ini mengubahnya menjadi salah seorang peguam bela paling vokal dalam bidang ini untuk menangani risiko kewujudan, didorong oleh apa yang disifatkannya sebagai "perasaan yang tidak tertanggung" .

Menuntut Rangka Kerja Global Baharu, Diterajui A.S. dan China

Bengio bertegas bahawa tiada satu negara pun boleh menyelesaikan masalah ini sendirian. Beliau telah berhujah secara eksplisit bahawa Kanada tidak boleh mengawal selia AI secara berasingan dan penyelarasan antarabangsa adalah tidak boleh dirunding . Sebagai pengerusi Laporan Saintifik Antarabangsa mengenai Keselamatan AI Termaju—sebuah panel penasihat yang disokong oleh 30 negara, Kesatuan Eropah, dan Pertubuhan Bangsa-Bangsa Bersatu—beliau sedang berusaha membina jambatan antara bukti saintifik dan dasar global .

Visi beliau untuk tadbir urus adalah praktikal dan spesifik. Pada pandangannya, peraturan mesti menghendaki firma untuk telus sepenuhnya tentang keupayaan sistem AI mereka, data yang digunakan untuk melatihnya, sumber yang digunakan, risiko spesifik yang ditimbulkan, dan proses dalaman yang mereka ada untuk menangani isu-isu tersebut . Yang penting, usaha ini sememangnya memerlukan penglibatan antara kuasa besar AI dunia. Tanpa kepimpinan A.S. dan China, peraturan mengikat yang memerlukan pagar keselamatan ini akan kekal sebagai aspirasi. Masalahnya, hujahnya, telah menjadi isu keselamatan negara dan global .

Cahaya di Hujung Terowong: Scientist AI dan LawZero

Selama bertahun-tahun, amaran Bengio seolah-olah membawa kemuktamadan yang hampir tiada harapan. Itu telah berubah. Pada Jun 2025, beliau melancarkan LawZero, sebuah makmal penyelidikan bukan untung yang berpangkalan di Montreal dengan pembiayaan kira-kira $30 juta (~RM130 juta) daripada penyokong termasuk Jaan Tallinn, Eric Schmidt, Future of Life Institute, dan Open Philanthropy . Nama itu adalah rujukan sengaja kepada Hukum Zeroth Robotik Isaac Asimov: satu arahan yang meletakkan perlindungan kemanusiaan mengatasi segala-galanya . Bengio berkhidmat sebagai presiden bersama dan pengarah saintifiknya .

Misi organisasi ini adalah untuk membangunkan dan membuktikan alternatif teknikal yang dipanggil Bengio sebagai "Scientist AI." Tidak seperti ejen autonomi yang dipacu matlamat hari ini, Scientist AI adalah sistem bukan ejenik yang tertumpu semata-mata kepada pemahaman, penjelasan, dan pengesahan . Ia tidak mengejar tindakan bebas di dunia tetapi sebaliknya bertindak sebagai pagar pengawal pencari kebenaran, direka untuk mengesan penipuan, ketidakselarasan, dan rancangan berbahaya dalam sistem AI lain yang lebih ejenik . Outputnya terdiri daripada penaakulan telus dan penilaian kebarangkalian dan bukannya arahan yang legap .

"Daripada membina AI yang meniru manusia, Bengio mahukan AI yang bertindak lebih seperti seorang saintis yang terpisah—mengurangkan risiko pemeliharaan diri dan agensi tidak terkawal" . Makmal ini menghimpunkan pasukan penyelidik bertaraf dunia yang berdedikasi untuk mengutamakan keselamatan berbanding keperluan komersial, bertujuan membina generasi AI seterusnya dari asas keselamatan-melalui-reka bentuk dan bukannya menambah langkah keselamatan selepas fakta .

Pengenalan rangka kerja ini telah mengubah pandangan Bengio. Setelah sebelum ini menjadi salah seorang penandatangan utama kenyataan yang menyamakan risiko AI dengan pandemik dan perang nuklear, beliau kini mengatakan pendekatan teknikal ini telah membuatkannya "optimis dengan margin yang besar" buat pertama kalinya . Mimpi ngeri itu belum hilang sepenuhnya, tetapi beliau percaya beliau mungkin telah menemui asas konkrit di mana masa depan yang lebih selamat boleh dibina.