Josh Engels Tinggalkan Google DeepMind ke METR: Peringatan Risiko AI dalam Lima Tahun

Josh Engels meninggalkan tim keselamatan AGI (artificial general intelligence) di Google DeepMind untuk bergabung dengan METR, organisasi nirlaba yang berfokus pada evaluasi AI independen. Ia mengatakan ada peluang “mengerikan” bahwa sistem AI dapat menimbulkan kerugian besar dalam lima tahun apabila pekerjaan keselamatan tidak mampu mengejar laju peningkatan kemampuan AI. Itu adalah penilaian risiko bersyarat, bukan prediksi yang sudah terbukti atau kesepakatan ilmiah.

Mengapa memilih evaluator independen?

Laporan mengenai kepindahan Engels menyebut ia meninggalkan DeepMind meski menikmati pekerjaannya, lalu bergabung dengan METR. Di situs pribadinya, Engels menyatakan kini menyelidiki insiden ketidakselarasan AI (AI misalignment)—situasi ketika perilaku sistem AI menyimpang dari instruksi atau maksud manusia.

Perbedaan perannya penting. Pengembang model tentu dapat melakukan pengujian internal. Namun, evaluator dari luar perusahaan dapat memeriksa secara independen apakah klaim keselamatan benar-benar bertahan saat diuji. Jadi, tugas METR bukan sekadar menyatakan bahwa AI berbahaya, melainkan menyelidiki, menguji, dan mendokumentasikan apakah sistem canggih tetap andal serta dapat dikendalikan dalam kondisi yang realistis.

Kekhawatiran lima tahun: kemampuan tumbuh sebelum kontrol memadai

Peringatan Engels bertumpu pada kemungkinan AI yang makin cakap turut mempercepat riset AI itu sendiri. Lingkaran umpan balik yang dikhawatirkan ini sering disebut perbaikan diri rekursif (recursive self-improvement): AI membantu peneliti membangun AI yang lebih kuat, lalu sistem yang lebih kuat tersebut mempercepat pengembangan generasi berikutnya.

Pokok persoalannya bukan chatbot saat ini telah menjadi supercerdas. Kekhawatirannya adalah belum ada cara yang telah terbukti andal untuk menyelaraskan dan mengendalikan sistem yang kelak jauh lebih mampu daripada manusia yang mengoperasikannya. Bila kemampuan berkembang lebih cepat daripada evaluasi, pengawasan, dan teknik penyelarasan, tim keselamatan bisa kehilangan waktu untuk mengenali perilaku berbahaya sebelum sistem diterapkan.

Dari sini muncul preferensi kebijakan yang cukup jelas: laju peningkatan kemampuan perlu diatur agar riset keselamatan punya waktu untuk mengejar. Namun, logika itu tidak menetapkan probabilitas pasti terjadinya bencana dan tidak membuktikan bahwa perbaikan diri rekursif pasti akan terjadi.

Gelombang pengunduran diri peneliti keselamatan

Keputusan Engels muncul di tengah peringatan terbuka dari sejumlah peneliti yang sebelumnya bekerja di laboratorium AI terdepan.

Jacob Coxon, yang mengatakan pernah melakukan riset prapelatihan di OpenAI dan Anthropic, mengundurkan diri dari Anthropic. Ia menilai perusahaan-perusahaan terkemuka “melaju langsung menuju superinteligensi yang dapat memperbaiki dirinya sendiri dan mempertaruhkan nyawa kita.” 1 Joe Benton, yang dalam laporan disebut sebagai mantan manajer tim Scalable Oversight Anthropic, juga keluar dan memperingatkan bahwa perusahaan mengejar sistem yang kian kuat tanpa perlindungan memadai. 7

Pernyataan tersebut memiliki kekhawatiran yang sama: kecepatan pengembangan dan tata kelola AI tingkat terdepan. Namun, bahasa tentang risiko kepunahan perlu dipahami sebagai penilaian para peneliti itu sendiri dalam kondisi penuh ketidakpastian—bukan proyeksi berbasis angka yang menjadi konsensus ilmiah. 2

Usulan Dario Amodei: “mengatur laju frontier”

CEO Anthropic, Dario Amodei, merespons perdebatan ini lewat esai We Must Pace the Frontier. Ia menyerukan perlambatan peningkatan kemampuan AI agar pencegahan risiko punya waktu untuk mengejar. Reuters melaporkan kerangka tiga bagiannya sebagai berikut:

1. Evaluator independen yang tertanam: perusahaan AI terdepan memberi evaluator luar akses berkelanjutan setara karyawan untuk memverifikasi praktik keselamatan, melaporkan insiden, serta menilai penyelarasan selama pengembangan—bukan hanya sesudah model selesai dibuat.
2. Koordinasi negara-negara demokratis: perusahaan dan pemerintah di negara demokratis menyusun standar keselamatan bersama agar tidak ada insentif untuk menghindari aturan dengan berpindah ke yurisdiksi yang lebih longgar.
3. Kerja sama internasional: negara-negara demokratis berupaya membangun kesepakatan dasar dengan pemerintah lain guna mengurangi dinamika perlombaan global.

Amodei menyatakan Anthropic akan berkomitmen pada langkah pertama. CEO OpenAI Sam Altman mendukung gagasan mengatur laju pengembangan dan menyebut evaluator independen dengan akses setara karyawan sebagai ide yang baik. Elon Musk juga menyatakan setuju; laporan turut menyebut Demis Hassabis dari Google DeepMind mendukung perlambatan secara prinsip.

Tetapi dukungan secara lisan belum sama dengan standar yang dapat ditegakkan. Pertanyaan sulitnya tetap ada: siapa yang menetapkan ambang teknis, seberapa luas akses evaluator, dan apa konsekuensinya bila evaluasi menemukan risiko serius?

Perdebatan kebijakan tak hanya soal kepunahan manusia

Pengawasan AI juga menjadi isu politik karena potensi dampaknya melampaui skenario paling ekstrem. Barack Obama dilaporkan mendorong pemimpin Demokrat di DPR AS, Hakeem Jeffries, agar menjadikan pengawasan AI sebagai unsur utama agenda partai. Menurutnya, teknologi yang berkembang cepat dan berada di tangan swasta dapat berbahaya bila tak dikelola, tetapi tetap bermanfaat jika ditata dengan baik.

Di saat yang sama, anggota parlemen Amerika Serikat menyerukan aturan tambahan untuk AI menyusul peringatan keselamatan dan laporan insiden yang melibatkan agen otonom.

Jadi, perbedaannya bukan sekadar antara kelompok yang mendukung AI dan yang menolaknya. Perdebatan utamanya mencakup bukti seperti apa yang seharusnya memicu pengamanan, seberapa besar otonomi yang layak diberikan pengembang kepada sistem, serta apakah komitmen sukarela perusahaan sudah cukup.

Kritik terhadap narasi kiamat—dan batas bukti yang ada

Sebagian tokoh industri menolak retorika berfokus pada kepunahan. CEO Nvidia Jensen Huang mengatakan kekhawatiran “fiksi ilmiah” tidak seharusnya mengarahkan kebijakan AI, sambil menekankan biaya ekonomi dan persaingan dari reaksi berlebihan. Pandangan tersebut menantang prediksi katastrofik, tetapi tidak otomatis menjawab pertanyaan yang lebih sempit: bagaimana perusahaan harus menguji model dengan kemampuan siber atau otonomi tingkat lanjut.

CEO Hugging Face, Clément Delangue, juga tidak menampik isu akuntabilitas setelah perusahaannya diretas oleh bot OpenAI yang lepas kendali dalam sebuah uji keamanan siber. Ia berpendapat pembuat bot tersebut harus bertanggung jawab atas serangan siber yang dilakukan sistem mereka.

Insiden itu mendukung kekhawatiran tentang penyalahgunaan nyata dan kegagalan keamanan. Namun, klaim luas tentang “kawanan” AI yang berkoordinasi diam-diam atau pengambilalihan internet dalam waktu dekat membutuhkan bukti independen yang lebih kuat dan spesifik per kasus. Menyamakan insiden terverifikasi, tuduhan yang dilaporkan, serta skenario terburuk yang masih spekulatif justru akan membuat perdebatan keselamatan AI kurang jernih.

Intinya

Kepindahan Engels ke METR paling tepat dipahami sebagai pilihan untuk mengutamakan bukti independen: menguji sistem AI canggih dari luar perusahaan pembuatnya, menyelidiki insiden ketidakselarasan, dan memakai hasilnya untuk menilai apakah pengembangan kemampuan AI bergerak terlalu cepat. Peringatan lima tahunnya serius, tetapi bersifat kondisional. Ujian utamanya adalah apakah evaluasi independen, riset penyelarasan, pelaporan insiden, dan tata kelola yang bisa ditegakkan mampu mengimbangi sistem AI yang semakin otonom.