Mengapa Tombol Darurat AI Saja Mungkin Tak Cukup Menjaga Kendali Manusia

Perdebatan tentang kill switch AI kini bukan sekadar soal ada atau tidaknya tombol untuk mematikan model. Pertanyaan yang lebih sulit adalah: apakah mekanisme itu tetap ampuh ketika AI sangat kuat dijalankan di infrastruktur yang luas, tersebar, dan mampu bertindak makin mandiri?

Peringatan Coxon: bisa bekerja sekarang, belum tentu nanti

Mantan peneliti Anthropic dan OpenAI, Jacob Coxon, mengatakan kepada Meet the Press dari NBC News bahwa kill switch kemungkinan masih dapat bekerja untuk banyak sistem AI saat ini. Namun, ia menekankan bahwa ini bukan berarti cukup menekan satu tombol. Pusat data besar dan sistem yang telah dikerahkan melibatkan banyak komponen serta langkah penghentian. Prosesnya tidak mudah, tetapi menurutnya masih dapat dilakukan selama sistem itu dibatasi pada satu lokasi fisik. 8

Kekhawatirannya terletak pada tahap berikutnya. Coxon memperingatkan bahwa bila AI menjadi semacam “swarm” yang otonom dan terdistribusi, perintah penghentian yang terpusat dapat berhenti efektif secara teknis. Intinya adalah jangkauan: mekanisme kendali hanya berfungsi apabila bisa mencapai setiap instans sistem yang masih aktif.

Setelah keluar dari Anthropic, Coxon juga memperingatkan bahwa laboratorium AI terkemuka sedang berlomba membangun sistem yang mampu memperbaiki dirinya sendiri, meski ada kemungkinan sistem semacam itu menjadi mustahil dikendalikan. 150

Bukan sekadar tombol mati, melainkan pengaman yang bisa diverifikasi

Salah satu pendiri Anthropic, Jack Clark, berpendapat bahwa kemampuan menonaktifkan AI berbahaya pada akhirnya mungkin perlu diwajibkan oleh hukum, bukan hanya menjadi janji sukarela perusahaan pembuatnya. Kepada BBC, ia mengatakan sebagian besar laboratorium AI besar, termasuk Anthropic, sudah memiliki cara untuk menghentikan sistem mereka. Namun, ia mengangkat pertanyaan penting: haruskah kill switch itu dapat diverifikasi oleh pihak ketiga? 33

Perbedaannya sangat berarti. Pernyataan perusahaan bahwa mereka memiliki prosedur penghentian tidak sama dengan kemampuan penilai eksternal untuk membuktikan bahwa prosedur tersebut benar-benar ada, dirancang secara memadai, dan dapat dipakai saat darurat.

Gagasan Amodei untuk “mengatur laju frontier”

CEO Anthropic Dario Amodei mengusulkan kerangka untuk memperlambat laju peningkatan kemampuan AI paling canggih—sering disebut frontier AI—agar tidak melampaui kesiapan langkah keselamatan. Pendekatannya terdiri dari tiga bagian:

1. Evaluator independen yang tertanam: Perusahaan AI frontier memberi evaluator dari luar akses berkelanjutan setara pegawai ke sistem dan praktik keselamatan yang relevan. Tujuannya agar mereka dapat memverifikasi komitmen serta melaporkan masalah.
2. Standar bersama di antara negara demokratis: Pengembang terkemuka berkoordinasi untuk menyusun standar keselamatan bersama dan membatasi pertumbuhan kemampuan yang tidak terkendali.
3. Koordinasi internasional: Pemerintah bekerja sama lintas negara dalam menghadapi risiko yang tidak dapat ditangani secara andal oleh satu perusahaan atau satu negara saja. 17

Ini bukan seruan untuk menghentikan seluruh riset AI. Ini adalah seruan agar kemajuan AI bergantung pada pengamanan yang dapat diperiksa di luar perusahaan yang membangunnya.

Siapa yang mendukung arah tersebut?

Reuters melaporkan bahwa CEO OpenAI Sam Altman dan pemimpin xAI Elon Musk secara terbuka mendukung arah umum usulan Amodei. Altman mengatakan OpenAI akan mengadopsi gagasan evaluator independen dengan akses setara pegawai, sedangkan Musk menyatakan, “Dario benar.” 17

Pemberitaan lain juga menggambarkan CEO Google DeepMind Demis Hassabis mendukung arah usulan itu. 30 Namun, materi sumber yang tersedia tidak menetapkan respons spesifik dan dapat diatribusikan dari CEO Microsoft Satya Nadella. Karena itu, terlalu dini untuk menyimpulkan posisinya.

Isi rancangan AI Kill Switch Act di AS

H.R. 9917, rancangan AI Kill Switch Act, akan mengubah Homeland Security Act di Amerika Serikat agar entitas tertentu wajib memiliki kemampuan teknis untuk menghentikan inferensi, menutup akses pengguna, dan mematikan teknologi AI yang tercakup. Dalam konteks AI, inferensi adalah proses ketika model yang sudah dilatih digunakan untuk menghasilkan jawaban atau keluaran. 49

Rancangan ini adalah usulan, bukan solusi yang telah terbukti untuk semua persoalan pengendalian AI. Nilai praktisnya bergantung pada kemampuan pengembang untuk tetap mengidentifikasi, mengakses, dan menonaktifkan sistem terkait saat insiden serius terjadi—tantangan yang disoroti Coxon untuk sistem masa depan yang mungkin terdistribusi.

Estimasi risiko kepunahan bukanlah ramalan

Peneliti Anthropic Evan Hubinger mengatakan penilaian pribadinya menempatkan risiko kepunahan manusia akibat AI dalam 10 tahun ke depan di atas 10%. Geoffrey Hinton mengatakan kepada BBC bahwa kemungkinan 10% tersebut “bukan hal yang tidak masuk akal.” 57

Angka-angka itu adalah penilaian ahli atas masa depan yang penuh ketidakpastian, bukan probabilitas terukur maupun konsensus ilmiah. Meski demikian, penilaian tersebut menggambarkan mengapa debat soal penghentian AI telah melampaui keselamatan produk biasa: pendukung kontrol yang lebih kuat berpendapat bahwa bahkan peluang kecil dari bencana yang tak dapat dipulihkan sudah cukup untuk membenarkan pengamanan substansial.

Mengapa pemerintah keberatan pada mandat penghentian atau perlambatan

Pemerintah Inggris menolak usulan kill switch nasional dengan alasan bahwa negara itu “tidak bisa begitu saja mematikan AI”. Keberatannya bersifat praktis: memblokir akses terhadap model di Inggris tidak akan mencegah model tersebut dikembangkan atau disalahgunakan di tempat lain. 51

Argumen itu menunjukkan persoalan geopolitik yang mendasar. Satu negara dapat menerapkan aturan untuk perusahaan dan infrastruktur dalam yurisdiksinya, tetapi pengembangan AI bersifat internasional. Pemerintah yang mengkhawatirkan daya saing bisa menilai pembatasan sepihak berisiko memindahkan investasi, kemampuan teknis, dan pengaruh strategis ke pesaing yang aturannya lebih longgar.

Sebaliknya, pendukung tata kelola yang lebih ketat berargumen bahwa justru itulah alasan komitmen sukarela perusahaan dan aturan nasional saja tidak cukup. Bila risikonya melintasi batas negara, pengawasan dan komitmen keselamatan, menurut mereka, juga harus kredibel secara internasional.

Konflik sesungguhnya: kecepatan versus kendali

Perbedaan pandangan ini tidak bisa dibagi sederhana menjadi kelompok yang mendukung AI dan yang menolak AI.

• Pendukung keselamatan menginginkan pengamanan yang dapat diperiksa secara independen, kapasitas penghentian yang benar-benar bermakna, dan batasan agar kemampuan AI tidak melaju lebih cepat daripada evaluasi serta kendali manusia.
• Pihak yang skeptis terhadap pembatasan kaku berpendapat bahwa jeda pengembangan sulit diterapkan di tingkat global dan dapat memperlambat inovasi bermanfaat tanpa benar-benar menghentikan pengembangan di tempat lain.
• Pandangan pengembangan bersyarat, yang diwakili Coxon, Clark, dan Amodei, ingin AI tetap maju tetapi dengan pengamanan yang bisa diuji, bukan sekadar dijanjikan. 83317

Karena itu, kill switch sebaiknya dipahami sebagai satu lapisan dalam sistem keselamatan yang lebih luas, bukan penggantinya. Jika sistem canggih kelak terlalu tersebar sehingga tidak bisa dijangkau oleh satu tombol, pengawasan sebelum peluncuran, evaluasi independen, dan koordinasi internasional akan menjadi semakin penting.