Peringatan Kepunahan AI Menguat, tetapi Bukti dan Pengawasan Jadi Titik Sengketa

Perdebatan terbaru tentang kemungkinan AI menyebabkan kepunahan manusia bukan sekadar pertarungan antara kubu yang menganggap AI aman dan kubu yang menganggapnya berbahaya. Perselisihan utamanya adalah seberapa cepat kemampuan AI dapat berkembang, rangkaian kondisi apa yang harus terjadi agar sebuah sistem menimbulkan kerusakan tak dapat dipulihkan, serta seberapa kuat bukti yang harus ada sebelum pembatasan lebih ketat diterapkan.

Peringatan dari orang-orang yang pernah bekerja di laboratorium AI terdepan membuat perdebatan ini semakin mendesak. Namun, bahkan pihak yang skeptis terhadap narasi kepunahan umumnya tetap mendukung pengujian dan praktik keselamatan. Pertanyaan kebijakan yang makin penting adalah: dapatkah pengembang membuktikan bahwa sistem mereka terkendali dan aman ketika kemampuannya terus meningkat?

Peringatan dari dalam industri: perlombaan menuju sistem yang mungkin sulit dikendalikan

Jacob Coxon, mantan peneliti Anthropic yang mengatakan bahwa ia juga pernah bekerja di OpenAI, mengundurkan diri pada September 2026. Ia berpendapat bahwa kedua perusahaan lebih mengutamakan persaingan daripada pengembangan yang bertanggung jawab. Menurutnya, mereka berlomba menuju “superintelijensi yang mampu memperbaiki dirinya sendiri”. 49

Peringatan itu didukung secara terbuka oleh Evan Hubinger, pimpinan sains alignment di Anthropic. Hubinger mengatakan bahwa secara pribadi ia menilai peluang AI membunuh seluruh manusia dalam satu dekade ke depan lebih dari 10%. Ia juga menyatakan bahwa Anthropic belum memiliki rencana untuk menyelesaikan masalah alignment—yakni memastikan sistem AI yang sangat canggih bertindak selaras dengan tujuan dan batasan manusia—untuk superintelijensi. 16 Laporan mengenai pernyataannya menegaskan bahwa angka tersebut adalah prediksi pribadi, bukan konsensus ilmiah atau probabilitas kepunahan yang dihitung secara empiris. 12

Mantan peneliti Google DeepMind, Bilal Chughtai, menyampaikan peringatan serupa. Ia mengatakan AI berpotensi membunuh semua orang dan waktu untuk mencegah hasil tersebut mungkin semakin menipis. 2

Argumen ini umumnya bersifat bersyarat, bukan klaim bahwa chatbot saat ini tiba-tiba akan menjadi berbahaya dengan sendirinya. Skenario yang dikhawatirkan adalah sistem masa depan mampu mempercepat riset AI secara berarti, beroperasi dengan otonomi lebih besar, menghindari pengawasan manusia yang efektif, atau memperluas akses terhadap kemampuan siber, biologis, dan kelembagaan lebih cepat daripada kemajuan metode keselamatan. Apakah rangkaian ini masuk akal—dan seberapa cepat dapat terjadi—itulah pusat perdebatan.

Mengapa angka 10% bukan ramalan yang sudah pasti

Angka yang disampaikan Hubinger menarik perhatian karena sangat tegas dan datang dari peneliti senior di bidang alignment. Namun, angka itu perlu dibaca secara tepat: ini adalah penilaian seorang individu dalam situasi penuh ketidakpastian, bukan peluang yang telah divalidasi oleh data historis atau model yang mampu mengukur risiko kepunahan. 12

Prediksi tersebut juga bergantung pada sejumlah asumsi yang belum terjawab:

• Sistem AI harus menjadi jauh lebih mampu dibandingkan model saat ini.
• Kemampuan itu harus berubah menjadi otonomi strategis yang bertahan lama atau kuasa berbahaya di dunia nyata.
• Pengendalian teknis, operator, lembaga, serta langkah penanggulangan yang ada harus gagal membatasi sistem atau penyalahgunaannya.
• Riset keselamatan dan alignment harus gagal mengejar laju peningkatan kemampuan AI.

Setiap mata rantai itu dapat diperdebatkan secara terpisah. Hal tersebut tidak berarti kekhawatirannya sepele, tetapi berarti angka di judul berita tidak boleh dianggap sebagai prediksi yang telah terbukti.

Argumen skeptis: kecerdasan digital berbeda dengan kuasa di dunia fisik

Para skeptis mempertanyakan lompatan dari performa kuat dalam perangkat lunak dan tugas bahasa menuju kemampuan menimbulkan bahaya fisik berskala kepunahan. Salah satu contoh yang sering dibahas berkaitan dengan biologi. Eric Xing berpendapat bahwa membuat rancangan genom virus hipotetis dengan model bahasa pada dasarnya berbeda dari menciptakan virus yang benar-benar layak: pengadaan material, manufaktur, kelayakan biologis, pekerjaan laboratorium, dan pengujian adalah hambatan tersendiri. 46

Pembedaan ini penting. Model AI mungkin menyediakan informasi atau rancangan, tetapi mengubahnya menjadi bahaya di dunia nyata dapat membutuhkan fasilitas khusus, keahlian praktis, rantai pasok, eksperimen berulang, serta akses ke bahan yang dikendalikan. Kendala-kendala itu tidak membuat risiko keamanan hayati menjadi nol. Namun, hal itu menantang asumsi bahwa kemampuan digital saja langsung menghasilkan kemampuan fisik yang menentukan.

CEO Nvidia Jensen Huang termasuk pengkritik paling vokal atas klaim kepunahan. Ia menyebut gagasan bahwa AI akan mengakhiri umat manusia sebagai “omong kosong total”. 33 Mark Cuban juga berpendapat bahwa respons manusia terhadap klaim-klaim mengkhawatirkan dapat menjadi bahaya lebih besar daripada kawanan agen AI itu sendiri. 43

Karena itu, posisi skeptis tidak selalu berarti AI mutakhir tidak memerlukan pengaman. Posisinya adalah bahwa klaim luar biasa mengenai kepunahan yang segera terjadi membutuhkan bukti yang lebih kuat daripada ekstrapolasi atas kinerja model saat ini dan jalur masa depan yang masih spekulatif.

Posisi tengah yang mengemuka: perlambat kapabilitas, verifikasi keselamatan

Tanggapan yang lebih operasional datang dari tokoh-tokoh yang tidak memperlakukan kepunahan sebagai kepastian, tetapi juga tidak menolaknya mentah-mentah. CEO Anthropic Dario Amodei menyerukan perlambatan laju peningkatan kemampuan model AI agar tersedia waktu untuk kerja keselamatan. Kerangkanya mencakup evaluator independen yang ditempatkan di dalam perusahaan dengan akses seperti karyawan, serta koordinasi di antara perusahaan AI terdepan. 18

Reuters melaporkan bahwa CEO OpenAI Sam Altman termasuk pemimpin yang mengupayakan perlambatan terkoordinasi, sementara industri masih terbelah mengenai seberapa jauh perlindungan yang berbasis mekanisme pasar dapat diandalkan. 19 Pelaporan lain juga menyebut Altman mendukung evaluator dari luar sebagai bagian dari pendekatan tersebut. 20

Pendekatan ini menggeser diskusi dari prediksi abstrak menjadi praktik yang dapat diperiksa:

1. Evaluasi independen: Peninjau eksternal yang memenuhi kualifikasi perlu memperoleh akses bermakna untuk menguji klaim keselamatan, alih-alih publik hanya mengandalkan pernyataan perusahaan. 18
2. Ambang berbasis kapabilitas: Pengawasan harus diperketat atau peluncuran dibatasi ketika model menunjukkan kemajuan material di bidang berbahaya, seperti operasi siber atau perilaku agen otonom.
3. Koordinasi antarlaboratorium: Perusahaan perlu mengurangi insentif untuk memangkas margin keselamatan hanya karena takut tertinggal dari pesaing. 18
4. Kerja sama internasional: Pemerintah dan pengembang AI besar perlu menyelaraskan standar, termasuk pengaturan untuk mengurangi tekanan kompetitif agar sistem tidak dikerahkan tanpa perlindungan memadai. 27
5. Kemajuan keselamatan seiring kemajuan kemampuan: Pengendalian, pemantauan, dan kapasitas respons yang terbukti perlu diperlakukan sebagai syarat yang harus mengimbangi sistem yang semakin kuat.

Apakah kekhawatiran jangka panjang mengalihkan perhatian dari bahaya saat ini?

Kritik lain menyangkut prioritas. Sekalipun risiko bencana layak diteliti dan disiapkan skenario daruratnya, fokus tunggal pada kepunahan yang masih spekulatif dapat menutupi kerugian yang telah terkait dengan penggunaan AI saat ini.

Agenda yang lebih mendesak mencakup penyalahgunaan AI untuk serangan siber, penipuan, pengawasan, disinformasi, keputusan otomatis yang diskriminatif, gangguan terhadap dunia kerja, dan pemusatan kekuasaan. Amodei sendiri menyebut risiko penyalahgunaan seperti pengembangan senjata, serangan siber, dan pengawasan saat menyerukan perlambatan pengembangan. 29

Ini tidak harus menjadi pilihan antara dampak saat ini dan risiko bencana jangka panjang. Perlindungan yang baik dapat menangani keduanya: kontrol akses yang lebih kuat, evaluasi yang lebih baik, kebijakan peluncuran yang hati-hati, pemeriksaan independen, pelaporan insiden, dan akuntabilitas yang jelas dapat mengurangi penyalahgunaan sekarang sekaligus meningkatkan kesiapan menghadapi sistem yang lebih canggih.

Apa yang benar-benar berubah dari perdebatan ini

Kesimpulan terkuat bukanlah bahwa kepunahan sudah terbukti, juga bukan bahwa kekhawatiran itu bisa diabaikan hanya karena jalur menuju bencana belum ditunjukkan secara lengkap. Bukti dalam perdebatan ini mengarah pada standar yang lebih praktis: klaim keselamatan untuk sistem yang semakin mampu harus dapat diuji, ditelaah secara independen, dan sepadan dengan skala bahaya yang mungkin ditimbulkannya.

Coxon, Hubinger, dan Chughtai mengajukan alasan untuk bersikap waspada di tengah ketidakpastian. Skeptis seperti Huang dan Xing mempertanyakan apakah bukti saat ini cukup untuk membenarkan kesimpulan kiamat dalam waktu dekat. Sementara itu, Amodei dan Altman menawarkan respons kebijakan yang tidak menuntut semua perbedaan filosofis diselesaikan terlebih dahulu: perlambat garis depan pengembangan, ukur kemampuan berbahaya, buka ruang bagi tinjauan luar yang kredibel, dan berkoordinasi sebelum tekanan persaingan menjadikan klaim keselamatan yang belum terverifikasi sebagai dasar normal untuk peluncuran produk. 49 16 33 18 19