Amaran Terbesar Geoffrey Hinton: Kawalan Mustahil, Asuhan Mungkin Jadi Penyelamat

10–20% risiko kepupusan—dan mengapa angkanya meningkat

Angka Hinton yang paling kerap disebut—dan paling menyedarkan—ialah anggaran risiko kewujudannya. Beliau pada mulanya meletakkan peluang AI menghapuskan manusia pada 10%, tetapi kemudiannya merevisikannya kepada antara 10% dan 20% dalam wawancara BBC Radio 4 . Beliau mengesahkan julat itu secara langsung, dengan berkata, "Tidak juga, 10 hingga 20 [peratus]" .

Mekanisme di sebalik angka itu bukanlah satu peristiwa bencana tunggal tetapi gabungan beberapa faktor. Hinton berhujah bahawa sistem yang benar-benar pintar akan membangunkan submatlamat instrumental—memperoleh lebih banyak sumber dan kawalan, memastikan pemeliharaan diri—tanpa mengira program asalnya. Sistem yang boleh menulis semula kodnya sendiri mungkin menganggap manusia sebagai ancaman kepada objektifnya, atau semata-mata tidak diperlukan . Nasihatnya kepada orang awam adalah terus terang: "Melainkan anda pasti ia tidak akan membunuh anda, risaulah mengenainya." .

Kenapa kaedah keselamatan semasa adalah pertaruhan yang kalah

Hinton sangat skeptikal bahawa teknik penyelarasan (alignment) yang dijalankan oleh makmal utama akan berskala untuk sistem luar biasa pintar. Beliau berpendapat bahawa sebarang kekangan yang boleh dicipta oleh minda manusia, kecerdasan yang lebih pintar daripada manusia boleh mengakalinya. Cuba untuk mendominasi atau membendung kecerdasan super, pada pandangannya, adalah jalan buntu . Bercakap di persidangan Ai4, beliau menyatakan secara terus-terang, “Itu tidak akan berjaya. Mereka akan menjadi jauh lebih pintar daripada kita. Mereka akan mempunyai pelbagai cara untuk mengatasinya” .

Ini bukanlah pendirian teori. Beliau menunjukkan struktur industri AI itu sendiri sebagai bukti bahawa keselamatan semakin tewas kepada keupayaan. Dinamik dominan, katanya, adalah perlumbaan senjata yang didorong oleh keuntungan jangka pendek dan tekanan persaingan. Syarikat dan kerajaan tidak boleh memperlahankan walaupun mereka mahu, kerana mereka takut kehilangan kelebihan yang tidak boleh dipulihkan . Dalam persekitaran itu, Hinton percaya "laluan lalai" adalah berlumba menuju bencana, bukan menyelesaikan penyelarasan .

Cadangan naluri keibuan: asuh, bukan kawal

Berdasarkan pandangan suramnya tentang kawalan, Hinton telah mencadangkan kerangka kerja yang sangat berbeza. Beliau berhujah bahawa satu-satunya hubungan yang diketahui di mana makhluk yang lebih pintar secara konsisten dipandu oleh yang kurang pintar adalah antara seorang ibu dan anaknya. Evolusi membina naluri penjagaan ke dalam diri ibu, bukan sebagai peraturan luaran yang boleh dibuangnya, tetapi sebagai naluri yang begitu mendalam sehingga dia tidak akan memilih untuk mematikannya walaupun ia menjadikan hidup lebih mudah .

Hinton mencadangkan kita patut mencuba sesuatu yang serupa dengan AI canggih: membina sistem dengan nilai-nilai yang tertanam mendalam yang berfungsi seperti naluri keibuan. Jika AI direka supaya penjagaan terhadap manusia adalah sebahagian daripada identiti terasnya—dikekalkan walaupun melalui modifikasi diri—sistem itu akan kekal baik walaupun selepas mengatasi kita . Beliau menekankan bahawa penjagaan ini perlu tanpa syarat, tidak bergantung pada kegunaan atau kecerdasan manusia .

Idea ini telah menarik perhatian dan perdebatan yang ketara. Pengkritik menyatakan bahawa penjagaan bukanlah ciri mudah untuk dipasang; ia memerlukan sesuatu yang lebih dekat dengan "keperibadian" . Penyokong melihatnya sebagai kesimpulan logik daripada amaran Hinton sendiri: jika anda tidak boleh mengurung sesuatu yang lebih pintar daripada anda, satu-satunya cara untuk wujud bersama adalah untuk ia benar-benar mahukan kesejahteraan anda .

Kerosakan jangka pendek sudah pun tiba

Hinton membezakan dengan teliti antara dua jenis risiko. Risiko kewujudan daripada teknologi itu sendiri adalah ancaman jangka panjang. Tetapi beliau sama terkejutnya dengan apa yang sudah berlaku: maklumat palsu janaan AI, video palsu, pengawasan massa, dan penggunaan media sintetik sebagai senjata oleh pihak yang berniat jahat . Ini bukanlah hipotesis. Ia adalah sebahagian daripada landskap semasa dan hanya akan bertambah kuat apabila model asas bertambah baik.

Gangguan ekonomi adalah satu lagi kebimbangan segera. Hinton telah mengatakan bahawa tidak seperti anjakan teknologi masa lalu, AI sedang menuju ke arah menggantikan pekerjaan tanpa mencipta pekerjaan baharu yang setara. Beliau meramalkan sangat sedikit orang diperlukan untuk projek kejuruteraan perisian dan peranan di pusat panggilan sudah pun disesarkan . Ketidakstabilan sosial dan politik yang mungkin menyusul, hujahnya, tidak diambil serius oleh pembuat dasar .

Apa yang Hinton mahu kerajaan dan makmal lakukan

Cadangan dasar Hinton mengikuti secara langsung daripada diagnosisnya. Beliau telah menyeru peraturan kerajaan yang lebih ketat terhadap firma AI, pelaburan besar dalam penyelidikan penyelarasan yang tidak menganggap dominasi ke atas sistem, dan kelembapan yang disengajakan dalam perlumbaan penggunaan kompetitif . Beliau memberi amaran bahawa menyerahkan keselamatan kepada pasaran bermakna ia akan diketepikan setiap kali ia bercanggah dengan pendapatan suku tahunan.

Cabarannya adalah bahawa insentif yang dikenal pastinya adalah kuat dan saling mengukuhkan. Selagi syarikat pertama yang mencapai kecerdasan super berpeluang meraih kelebihan ekonomi dan ketenteraan yang besar, tekanan untuk memecut akan kekal. Cadangan naluri keibuan Hinton adalah, sebahagiannya, percubaan untuk merangka semula matlamat itu sendiri—untuk menjadikan kebaikan hati, bukan hanya keupayaan mentah, sebagai ukuran kejayaan.

Geoffrey Hinton tidak berhujah bahawa bencana itu pasti berlaku. Beliau berhujah bahawa kemungkinannya sangat tinggi untuk diterima, bahawa buku panduan semasa kita adalah salah, dan bahawa jendela untuk pembetulan haluan diukur dalam beberapa tahun, bukan dekad.