Geoffrey Hinton: Risiko 10% AI Memusnahkan Manusia “Bukan Angka yang Tak Masuk Akal”

Geoffrey Hinton, pionir AI sekaligus peraih Nobel Fisika 2024, mengatakan bahwa peluang 10% AI menyebabkan kepunahan manusia dalam dekade mendatang tampaknya “bukan estimasi yang tak masuk akal”. Namun, ia langsung memberi penegasan penting: “tidak ada yang benar-benar tahu bagaimana membuat estimasi yang masuk akal.” 14

Artinya, Hinton tidak menyampaikan prakiraan ilmiah yang sudah terkalibrasi. Ia menilai bahwa, mengingat skala dampak yang mungkin terjadi serta ketidakpastian mengenai seberapa cakap sistem AI di masa depan, risiko tersebut tidak layak begitu saja diabaikan.

Mengapa Hinton khawatir terhadap dampak AI

Hinton membedakan dua persoalan yang saling terkait: penyalahgunaan AI oleh manusia, dan kemungkinan sistem AI yang sangat cakap kelak sulit dikendalikan.

Dalam jangka lebih dekat, ia telah memperingatkan bahwa AI dapat memperparah ancaman yang sudah ada. Dalam kuliah Nobelnya, Hinton menyinggung sistem rekomendasi yang memicu polarisasi, pengawasan massal, serta phishing berbantuan AI. Ia juga memperingatkan bahwa AI kelak dapat membantu menciptakan virus berbahaya dan senjata mematikan, sehingga membutuhkan perhatian mendesak dari pemerintah serta organisasi internasional.

Kekhawatirannya bukan hanya satu jenis kegagalan. Sistem yang lebih maju berpotensi membuat misinformasi lebih meyakinkan dan sangat dipersonalisasi, membantu pelaku menemukan kelemahan perangkat lunak, atau menurunkan hambatan bagi penyalahgunaan biologis maupun siber. Dalam skenario paling ekstrem yang dibayangkan sebagian pegiat keselamatan AI, sistem dengan kemampuan strategis, teknis, dan operasional yang kuat dapat memperoleh akses ke sumber daya atau infrastruktur penting, lalu menolak upaya manusia untuk membatasinya. 5

Masalah alignment di balik argumen kepunahan

Kekhawatiran teknis utamanya adalah alignment, yakni apakah sistem yang jauh lebih cerdas daripada manusia dapat secara andal mengejar tujuan yang benar-benar diinginkan manusia, tetap dapat dikoreksi, dan berada dalam batas pengendalian yang bermakna.

Mantan peneliti Anthropic dan OpenAI, Jacob Coxon, mengundurkan diri dari Anthropic sambil menyatakan bahwa laboratorium AI terkemuka sedang “berlomba langsung menuju superinteligensi yang mampu memperbaiki dirinya sendiri” dan “mempertaruhkan hidup kita”. 18 Peringatannya berfokus pada kemungkinan kemampuan sistem meningkat lebih cepat daripada kemajuan metode keselamatan.

Evan Hubinger, pemimpin sains alignment Anthropic, secara terbuka mendukung inti peringatan itu. Ia mengatakan secara pribadi menilai peluang AI membunuh seluruh manusia dalam satu dekade ke depan lebih dari 10%. Ia juga menyebut Anthropic belum memiliki rencana untuk menyelesaikan alignment bagi superinteligensi dan belum jelas berada di jalur untuk mencapainya. 16

Argumen mereka bukan bahwa model AI saat ini sudah hampir memusnahkan manusia secara mandiri. Hubinger mengatakan risiko dari model yang ada sekarang rendah. Kekhawatirannya terletak pada titik perubahan di masa depan: ketika model menjadi cukup mampu untuk meningkatkan kemampuannya sendiri atau bertindak efektif di dunia nyata sebelum pengembang mengetahui cara mengendalikannya dengan andal. 116

Mengapa para skeptis menolak prediksi kepunahan dalam waktu dekat

Peneliti lain tidak menyangkal bahwa AI dapat membuat kejahatan siber, disinformasi, dan penyalahgunaan biologis menjadi lebih berbahaya. Perbedaan pendapat mereka terletak pada lompatan dari bahaya serius menuju kepunahan manusia.

Gary Marcus mengatakan AI dapat berkontribusi pada serangan siber, ancaman biologis, disinformasi, dan eskalasi konflik. Namun, ia tidak melihat jalur realistis dalam waktu dekat yang benar-benar dapat “membunuh semua manusia”. 15 Menurut pandangan ini, risiko konkret tetap perlu ditangani tanpa menganggap model bahasa besar saat ini otomatis berada di jalur menuju superinteligensi yang tak terkendali.

Yann LeCun juga mempertanyakan estimasi “p(doom)” yang disampaikan dengan tingkat keyakinan tinggi. Dalam pemberitaan mengenai perdebatan tersebut, pandangannya digambarkan menempatkan risiko kepunahan akibat AI jauh di bawah risiko holokaus nuklir, sambil menekankan bahwa perkiraan semacam itu pada dasarnya spekulatif.

Jadi, garis pemisahnya bukan sekadar antara pihak yang peduli dan tidak peduli. Ada dua pertanyaan besar yang belum terjawab:

1. Jadwal kemampuan: Seberapa cepat, bila memang terjadi, sistem akan menjadi unggul secara luas dibanding manusia dan mampu meningkatkan performanya sendiri?
2. Pengendalian: Jika itu terjadi, apakah pengembang dapat membuat sistem tetap dapat dikendalikan secara andal, atau justru pengaman akan gagal ketika berhadapan dengan model yang lebih cakap dan tekanan persaingan untuk segera merilisnya?

Arti—dan keterbatasan—angka 10%

Belum ada metode tervalidasi untuk menghitung secara presisi peluang AI menyebabkan kepunahan manusia. Angka seperti yang disampaikan Hinton dan Hubinger merupakan penilaian di tengah ketidakpastian yang sangat besar, bukan probabilitas yang diturunkan dari data historis yang dapat diuji berulang kali. 14

Karena itu, angka tersebut tidak berarti kepunahan kemungkinan besar akan terjadi. Sebaliknya, ketiadaan angka yang andal juga tidak membuktikan bahwa risikonya bisa diabaikan. Kesimpulan yang lebih terbatas adalah: para ahli berbeda tajam soal kemungkinan dan jalurnya, tetapi banyak yang sepakat AI berdaya tinggi dapat memunculkan tantangan keamanan dan tata kelola yang serius jauh sebelum skenario kepunahan hipotetis sekalipun.

Dorongan agar kemampuan diuji sebelum dikerahkan

Hinton menyerukan perhatian mendesak dari pemerintah dan organisasi internasional terhadap risiko AI. Coxon juga berpendapat bahwa regulasi merupakan unsur penting untuk mengurangi bahaya.

Karena itu, pembahasan kebijakan berfokus pada langkah pengaman yang dapat diterapkan pada kemampuan dan penggunaan yang nyata: evaluasi ketat untuk model AI terdepan, penguatan keamanan siber, perlindungan biosekuriti, pelaporan serta pengawasan insiden serius, dan penilaian independen sebelum sistem diberi otonomi lebih besar atau akses ke alat-alat sensitif.

Perdebatan mengenai estimasi 10% itu kemungkinan akan tetap terbuka. Pokok pesan Hinton bukan bahwa peluangnya dapat dihitung dengan yakin, melainkan bahwa taruhannya terlalu besar—dan ketidakpastiannya terlalu luas—sehingga menunggu kepastian penuh bisa menjadi standar kehati-hatian yang keliru. 14