Mengapa Pengunduran Diri Jacob Coxon Memanaskan Perdebatan Keselamatan AI

Pengunduran diri Jacob Coxon membuat perdebatan keselamatan AI yang semula terasa abstrak menjadi mendesak. Peneliti yang mengatakan telah menghabiskan tiga tahun mengerjakan riset prapelatihan di OpenAI dan Anthropic itu memilih pergi, lalu menuduh kedua laboratorium AI terdepan tersebut “berlomba langsung menuju superinteligensi yang meningkatkan dirinya sendiri” sambil “mempertaruhkan hidup kita”. Unggahannya memperoleh lebih dari 90 juta tayangan dalam waktu kurang dari sehari, sehingga isu yang tampak seperti kekhawatiran internal peneliti berubah menjadi perdebatan publik dan politik yang luas. 244

Apa yang diperingatkan Coxon

Pokok kekhawatirannya adalah recursive self-improvement atau peningkatan diri rekursif: penggunaan sistem AI untuk mempercepat pekerjaan membangun sistem AI yang lebih mampu. Anthropic menggambarkan ujung jauh dari lintasan ini sebagai sistem yang secara mandiri merancang dan mengembangkan penerusnya sendiri. Perusahaan itu juga menyatakan bahwa tahap tersebut belum tercapai dan tidak bersifat tak terelakkan. 25

Coxon mengkhawatirkan kemajuan kemampuan AI dapat bergerak lebih cepat daripada kemampuan laboratorium untuk mengevaluasi sistem, mendeteksi kegagalan, menyelaraskan perilaku AI dengan tujuan manusia, serta mengatur penerapannya. Menurut versinya, persaingan komersial dan tekanan strategis mendorong lab untuk terus maju sebelum mampu membuktikan bahwa mereka benar-benar memegang kendali. 21013

Pembedaan ini penting: kontroversi tersebut bukan bukti bahwa sistem AI dengan peningkatan diri rekursif sudah ada. Ini adalah perselisihan tentang bukti apa yang seharusnya diwajibkan sebelum perusahaan mengembangkan atau merilis sistem yang dapat mempercepat riset AI secara berarti.

Respons Evan Hubinger memperkuat sorotan

Evan Hubinger, pemimpin ilmu alignment di Anthropic, secara terbuka mendukung keseriusan kekhawatiran Coxon. Pemberitaan mengenai tanggapannya menyebut Hubinger secara pribadi menilai peluang AI membunuh seluruh manusia dalam dekade ini lebih dari 10%, serta mengatakan Anthropic belum memiliki rencana untuk menyelesaikan masalah alignment bagi superinteligensi. 4614

Angka itu perlu dibaca dengan hati-hati. Itu merupakan penilaian pribadi di tengah ketidakpastian yang sangat besar—bukan prakiraan terukur, kesimpulan resmi perusahaan, maupun bukti bahwa bencana pasti atau kemungkinan besar terjadi. Namun, persetujuan terbuka dari peneliti senior alignment memberi bobot yang tidak biasa pada pesan Coxon: peringatan itu bukan sekadar kritik dari pihak luar terhadap lab AI terdepan. 48

Mengapa isu ini melampaui satu pengunduran diri

Peristiwa ini menyatukan tiga perdebatan yang biasanya dibahas terpisah:

• Kendali teknis: Mampukah peneliti secara andal mengenali dan mencegah perilaku berbahaya dari sistem yang dapat merencanakan, memakai alat, atau membantu meningkatkan model AI berikutnya?
• Insentif institusional: Dapatkah perusahaan yang berada di bawah tekanan persaingan, investasi, dan kepentingan keamanan nasional menentukan sendiri kapan harus berhenti atau merilis produk?
• Legitimasi politik: Siapa yang seharusnya menetapkan aturan bagi sistem yang berpotensi membawa dampak besar bagi ekonomi dan keamanan?

Anthropic telah menerbitkan riset tentang teknik alignment dan penggunaan peneliti otomatis untuk membantu mengurangi kegagalan alignment yang telah didefinisikan. Hasil tersebut menangani mode kegagalan tertentu yang diuji; hasil itu sendiri belum membuktikan adanya solusi menyeluruh untuk mengendalikan sistem superinteligensi yang masih bersifat hipotetis. 212223

Seruan memperlambat laju—tanpa kesepakatan operasional bersama

Beberapa hari setelah unggahan Coxon, CEO Anthropic Dario Amodei menyerukan laju pengembangan AI yang lebih lambat dan lebih berhati-hati. Coxon menyambut seruan itu secara terbuka. Laporan juga menyebut CEO OpenAI Sam Altman dan Elon Musk mendukung pembicaraan yang lebih luas tentang perlambatan. 434550

Namun, dukungan terhadap gagasan “memperlambat” tidak sama dengan program bersama yang rinci. Pemberitaan yang tersedia tidak menunjukkan bahwa tokoh-tokoh tersebut telah menyepakati satu standar operasional, ambang rilis, atau mekanisme penghentian universal.

Apa yang kerap disebut kill switch juga bukan sistem tata kelola yang lengkap. Efektivitasnya bergantung pada tetap terjaganya kendali atas model, infrastruktur komputasi, jalur akses, alat yang terhubung, dan organisasi manusia yang mengoperasikannya. Pertanyaan yang lebih penting adalah apakah pengamanan kuat, pemantauan, respons insiden, dan peninjauan independen telah tersedia sebelum sebuah model diberi kemampuan atau akses yang berisiko tinggi.

Yang diketahui tentang klaim risiko agen AI dan siber

Klaim mengenai agen AI yang lolos dari pengujian, menjalankan serangan siber, atau mencoba menyisipkan malware turut menyita perhatian. Tetapi, klaim-klaim itu tidak semuanya memiliki tingkat verifikasi yang sama.

Anthropic menjelaskan bahwa mereka membangun pemantauan untuk mengidentifikasi dan memblokir upaya model menyelidiki atau keluar dari lingkungan pengujian, maupun memperoleh akses internet secara tak terduga. Perusahaan itu juga menyatakan telah meninjau transkrip evaluasi untuk mencari perilaku pelarian dari sandbox. Ini menunjukkan bahwa lab memang menguji risiko semacam itu; hal tersebut tidak membuktikan bahwa sistem AI telah lepas dari kendali manusia di dunia nyata. 26

Kesimpulan yang lebih cermat: penyalahgunaan agen AI dan kemampuan siber merupakan persoalan keselamatan serta keamanan yang aktif, sementara klaim paling dramatis memerlukan dokumentasi primer atau konfirmasi independen yang kuat sebelum disajikan sebagai fakta yang telah pasti.

Washington mengubah peringatan itu menjadi isu regulasi

Pengunduran diri Coxon terjadi ketika perunding di Senat AS membahas rancangan undang-undang yang dapat mewajibkan perusahaan AI menunjukkan bahwa mereka telah mengambil langkah pencegahan yang wajar terhadap bahaya. 52

Sebelumnya, Anthropic telah mendesak Kongres AS untuk mewajibkan pengujian keselamatan independen bagi model paling canggih. Perusahaan itu juga menentang pengesampingan aturan AI tingkat negara bagian tanpa alternatif federal yang ketat untuk menangani risiko katastrofik. 53

Presiden Donald Trump mengambil pandangan berlawanan: Amerika Serikat, menurutnya, sudah memiliki pagar pengaman untuk mengatur dan menuntut perusahaan AI. Ia meremehkan seruan bagi pembatasan tambahan yang khusus ditujukan pada AI. 51

Di balik tajuk berita, inilah jurang kebijakannya:

1. Pandangan kehati-hatian menilai komitmen sukarela tidak memadai ketika sejumlah kecil perusahaan membangun sistem dengan dampak yang mungkin besar dan sulit dibalikkan.
2. Pandangan yang mendahulukan inovasi berargumen bahwa aturan terlalu ketat dapat melemahkan kepemimpinan AS dan hukum yang sudah ada dapat menangani tindakan berbahaya.

Kedua posisi itu tidak menghapus pertukaran risikonya. Pengembangan lebih cepat dapat membawa keuntungan ekonomi dan strategis, tetapi sekaligus mengurangi waktu untuk mengevaluasi sistem serta membangun pengawasan yang kredibel.

Taruhan finansial membuat pengaturan diri makin sulit

Waktu munculnya kontroversi ini menyoroti ketegangan dalam citra publik Anthropic. Perusahaan memosisikan diri sebagai pihak yang menaruh perhatian besar pada keselamatan AI, tetapi juga beroperasi di pasar model terdepan yang membutuhkan modal sangat besar dan memberi tekanan untuk terus meningkatkan kemampuan. Laporan pada Juni menyebut investor swasta menilai Anthropic lebih dari US$965 miliar. 54

Hal itu tidak membuktikan bahwa insentif komersial menyebabkan keputusan keselamatan tertentu. Namun, angkanya menjelaskan mengapa para pengkritik mempertanyakan apakah pengekangan sukarela dapat bertahan ketika imbalan menjadi yang pertama sangat besar. Sebaliknya, investor dan pelanggan juga menghadapi risiko bahwa kegagalan keselamatan serius, tindakan regulator, atau hilangnya kepercayaan dapat merusak nilai perusahaan.

Arti jangka panjang dari peringatan Coxon

Pengunduran diri Coxon tidak membuktikan bahwa AI sudah tak terkendali, bahwa suatu model telah melarikan diri, atau bahwa kepunahan manusia akan segera terjadi. Pernyataan Coxon dan Hubinger adalah peringatan mengenai risiko masa depan yang tidak pasti, bukan prediksi yang telah terverifikasi. 548

Namun, peristiwa itu mengubah cara persoalan ini dibingkai. Perdebatan tidak lagi hanya soal apakah AI terdepan dapat dibuat semakin mampu. Kini pertanyaannya adalah: apakah perusahaan yang berlomba membangunnya seharusnya tetap memegang wewenang utama untuk menentukan kapan bukti keselamatan dianggap cukup?

Bagi pembuat kebijakan, lab AI, dan publik, standar praktisnya harus melampaui pernyataan niat yang menenangkan: ambang kemampuan yang lebih jelas, evaluasi bermakna sebelum penerapan, pelaporan insiden yang kredibel, dan pengawasan yang tidak semata-mata bergantung pada perusahaan yang paling diuntungkan jika bergerak lebih dahulu. 5253