Yoshua Bengio: Kita Sedang Membangun AI yang Tidak Tahu Cara Mengendalikannya

Agen Otonom: "Jalur Paling Berbahaya"

Sementara Bengio melihat banyak risiko dalam lanskap AI, ia menyimpan peringatan paling tajam untuk agen yang sepenuhnya otonom—sistem yang dirancang untuk mengejar tujuan dengan intervensi manusia yang minimal. Ia secara eksplisit menyebut mereka sebagai "jalur paling berbahaya" yang sedang ditempuh saat ini .

Logikanya sederhana namun mengerikan: "Semua skenario katastrofik dengan AGI atau superintelligence terjadi jika kita memiliki agen" . Ketika AI diberi tujuan dan kekuasaan untuk bertindak secara otonom, dorongannya untuk mencapai objektif itu bisa berujung pada konsekuensi yang tak terduga dan tak terhentikan. Risiko kehilangan kendali bukanlah sebuah kutu (bug) dalam kerangka ini; melainkan fitur dari pemberian agensi independen kepada sistem yang berpotensi supercerdas. Ia memperingatkan bahwa ini bisa berujung pada "skenario katastrofik," termasuk kehilangan kendali manusia yang tak bisa dipulihkan atas sistem otonom .

Perhitungan Personal dan Penyesalan Mendalam

Pergeseran dari peneliti perintis menjadi pembawa peringatan global bukanlah keputusan klinis bagi Bengio. Itu sangat personal. Ia telah berbicara secara terbuka tentang penyesalan yang ia rasakan. "Saya seharusnya melihat ini terjadi jauh lebih awal, tetapi saya tidak terlalu memperhatikan risiko yang berpotensi katastrofik," akunya .

Bagi Bengio, risiko abstrak itu menjadi kenyataan yang tak tertahankan dengan dua katalis. Yang pertama adalah peluncuran publik ChatGPT, yang menunjukkan kepadanya bahwa masa depan tiba jauh lebih cepat dari yang ia perkirakan. Yang kedua sangat intim: memikirkan dunia yang akan diwarisi oleh cucunya. "Titik balik saya adalah ketika ChatGPT datang, dan juga bersama cucu saya, saya menyadari bahwa tidak jelas apakah ia akan memiliki kehidupan 20 tahun dari sekarang, karena kita mulai melihat sistem AI yang melawan upaya untuk dimatikan," jelasnya . Realisasi ini mengubahnya menjadi salah satu advokat paling vokal di bidang ini dalam menangani risiko eksistensial, yang didorong oleh apa yang ia gambarkan sebagai "perasaan yang tak tertahankan" .

Menuntut Kerangka Global Baru, Dipimpin oleh AS dan Tiongkok

Bengio bersikeras bahwa tidak ada satu negara pun yang bisa menyelesaikan masalah ini sendirian. Ia secara eksplisit berargumen bahwa Kanada tidak bisa meregulasi AI secara terisolasi dan bahwa koordinasi internasional adalah suatu keharusan yang tak bisa ditawar . Sebagai ketua International Scientific Report on the Safety of Advanced AI—panel penasihat yang didukung oleh 30 negara, Uni Eropa, dan Perserikatan Bangsa-Bangsa—ia tengah bekerja membangun jembatan antara bukti ilmiah dan kebijakan global .

Visi tata kelolanya bersifat praktis dan spesifik. Menurutnya, regulasi harus mewajibkan perusahaan untuk sepenuhnya transparan mengenai kapabilitas sistem AI mereka, data yang digunakan untuk melatihnya, sumber daya yang mereka konsumsi, risiko spesifik yang mereka timbulkan, dan proses internal yang mereka miliki untuk menangani isu-isu tersebut . Lebih krusial lagi, upaya ini pada dasarnya membutuhkan keterlibatan antara negara adidaya AI dunia. Tanpa kepemimpinan AS dan Tiongkok, aturan mengikat yang mensyaratkan pagar pengaman keamanan ini hanya akan tinggal aspirasi. Masalahnya, ia berpendapat, telah menjadi isu keamanan nasional sekaligus global .

Cahaya di Ujung Terowongan: Scientist AI dan LawZero

Selama bertahun-tahun, peringatan Bengio seakan membawa finalitas yang hampir tanpa harapan. Itu telah berubah. Pada Juni 2025, ia meluncurkan LawZero, sebuah laboratorium riset nirlaba berbasis di Montreal dengan pendanaan sekitar $30 juta dari para pendukung termasuk Jaan Tallinn, Eric Schmidt, Future of Life Institute, dan Open Philanthropy . Nama ini merujuk secara sengaja pada Hukum Nol Robotika Isaac Asimov: sebuah arahan yang menempatkan perlindungan kemanusiaan di atas segalanya . Bengio menjabat sebagai salah satu presiden dan direktur ilmiahnya .

Misi organisasi ini adalah mengembangkan dan membuktikan sebuah alternatif teknis yang disebut Bengio sebagai "Scientist AI." Tidak seperti agen otonom berbasis tujuan saat ini, Scientist AI adalah sistem non-agentik yang berfokus murni pada pemahaman, penjelasan, dan verifikasi . Ia tidak mengejar aksi independen di dunia, melainkan bertindak sebagai pagar pengaman pencari kebenaran, dirancang untuk mendeteksi penipuan, ketidakselarasan, dan rencana berbahaya dalam sistem AI lain yang lebih agentik . Keluarannya terdiri dari penalaran transparan dan penilaian probabilitas, bukan perintah yang opak .

"Alih-alih membangun AI yang meniru manusia, Bengio menginginkan AI yang bertindak lebih seperti ilmuwan yang netral—mengurangi risiko upaya mempertahankan diri dan agensi yang tak terkendali" . Lab ini menyatukan tim peneliti kelas dunia yang berdedikasi untuk memprioritaskan keselamatan di atas kepentingan komersial, bertujuan membangun generasi model AI berikutnya dari fondasi safety-by-design alih-alih menambahkan pengaman setelah pembangunan .

Pengenalan kerangka kerja ini telah mengubah pandangan Bengio. Setelah sebelumnya menjadi salah satu penandatangan utama pernyataan yang menyamakan risiko AI dengan pandemi dan perang nuklir, ia kini mengatakan bahwa pendekatan teknis ini telah membuatnya "optimis dengan selisih yang besar" untuk pertama kalinya . Mimpi buruknya belum sepenuhnya hilang, tetapi ia percaya bahwa ia mungkin telah menemukan fondasi konkret yang di atasnya masa depan yang lebih aman dapat dibangun.