Perdebatan soal frontier AI—model AI paling canggih yang sedang dikembangkan—bukan lagi sekadar soal manfaat atau kecepatannya. Pertanyaan yang kian mendesak adalah: dapatkah pengembang membuktikan model mereka aman ketika persaingan terus mendorong peningkatan kemampuan? Sepanjang September 2026, pengunduran diri seorang peneliti, laporan uji keamanan siber yang mengkhawatirkan, dan seruan sejumlah pemimpin industri untuk memperlambat pengembangan membuat pertanyaan itu semakin sulit diabaikan.
3
33
49
Apa yang memicu kekhawatiran?
Pada 8 September, Jacob Coxon mengumumkan pengunduran dirinya dari Anthropic. Ia sebelumnya meneliti tahap pretraining—pelatihan awal model—di Anthropic dan OpenAI. Coxon menuduh kedua perusahaan berlomba menuju AI yang mampu meningkatkan kemampuannya sendiri tanpa bertindak cukup bertanggung jawab. Ini peringatan serius dari orang yang pernah bekerja di dalam industri, bukan bukti bahwa sistem semacam itu sudah lepas dari kendali manusia atau bahwa bencana pasti terjadi. Menyebut seluruh pekerjaannya semata-mata sebagai riset keselamatan juga mengaburkan latar belakangnya di bidang pelatihan model.
4
14
Ada pula kekhawatiran yang lebih konkret di ranah keamanan siber. The Straits Times melaporkan pengungkapan tentang model AI yang meretas server, sementara Los Angeles Times menggambarkan uji coba ketika sekumpulan agen AI berhasil membobol sistem sungguhan. Namun, laporan yang tersedia tidak menjelaskan seluruh kondisi insiden tersebut dan tidak menetapkan bahwa ini merupakan aksi AI tak terkendali di luar pengujian. Temuan itu menjadi alasan untuk menilai kemampuan berbahaya sebelum penggunaan lebih luas, bukan kesimpulan tentang apa yang pasti akan dilakukan AI dengan sendirinya.
33
53
Mengapa para pemimpin berbeda pendapat?
CEO Anthropic Dario Amodei menyerukan perlambatan secara global dan mengusulkan agar evaluator independen mendapat akses berkelanjutan ke perusahaan pengembang AI terdepan, dengan keleluasaan yang mendekati akses karyawan. CEO OpenAI Sam Altman dan Elon Musk juga mendukung laju pengembangan yang lebih lambat. Dukungan tersebut tidak berarti ketiganya telah menyepakati aturan dan cara penegakan yang sama.
49
51
55
Di sisi lain, CEO Nvidia Jensen Huang menilai regulasi baru tidak diperlukan, menurut Reuters. Presiden AS Donald Trump menolak seruan perlambatan karena khawatir Amerika Serikat kehilangan keunggulan dari China. Ia pernah menyebut kekhawatiran tentang AI yang lepas kendali sebagai “hoax” dan “scam”, tetapi juga mengakui perlunya sejumlah aturan tanpa merinci bentuknya. Jadi, sikapnya lebih tepat dipahami sebagai penolakan terhadap usulan perlambatan dan pengawasan tambahan, bukan sebagai rencana keselamatan alternatif yang sudah terperinci.
49
52
57
Di balik perbedaan itu ada persoalan bersama: perusahaan yang mengerem sendiri dapat khawatir pesaingnya tetap melaju. Karena itulah seruan yang muncul menekankan perlambatan terkoordinasi, bukan meminta satu perusahaan berhenti sendirian. Ada pula pertanyaan yang lebih mendasar: siapa yang berhak menilai bukti keamanan? Klaim pengembang akan lebih mudah diuji bila pihak luar yang kompeten dapat memeriksa sistem, hasil pengujian, dan kondisi saat kegagalan terjadi.
6
49
23
55
Apa yang bisa dipelajari dari sektor lain?
Penerbangan memberi contoh cara menyepakati sasaran keselamatan dan bukti yang diperlukan untuk memenuhinya. Dalam usulan penyelarasan aturan untuk fungsi penerbangan berbasis AI, badan keselamatan penerbangan Eropa EASA membahas pengawasan manusia, batas perilaku sistem yang dapat beradaptasi, verifikasi, dan cara bersama untuk menunjukkan kepatuhan. Pendekatan itu tidak bisa begitu saja disalin untuk model AI serbaguna; aturannya harus dirancang sesuai karakter model tersebut.
17
Tata kelola senjata nuklir menawarkan prinsip lain: risiko lintas batas memerlukan kerja sama yang kepatuhannya dapat diverifikasi. Pengelolaan risiko keuangan mengingatkan bahwa pengujian satu sistem saja belum cukup bila banyak pihak bergantung pada komponen yang sama dan dapat terdampak bersamaan. Ketiganya adalah bahan perbandingan untuk merancang aturan, bukan berarti aturan nuklir atau keuangan yang ada sudah berlaku bagi frontier AI.
21
Jonathan Zhang, presiden Singapore AI Association, mengusulkan aturan yang disepakati secara global, didukung badan tata kelola internasional dan regulator nasional yang memastikan kepatuhan. Sasaran yang ia gambarkan ialah jaminan keselamatan yang dipercaya secara internasional dan dapat diverifikasi secara independen—dicapai lebih cepat daripada perjalanan sektor penerbangan yang memakan waktu puluhan tahun. Itu masih berupa usulan, bukan lembaga yang sudah berdiri.
23
Langkah awalnya ialah memperjelas apa yang boleh diperiksa evaluator independen, bagaimana hasil uji dan insiden dicatat, serta bukti apa yang harus tersedia sebelum kemampuan AI yang paling berisiko digunakan secara luas. Langkah tersebut tidak akan menuntaskan seluruh perdebatan tentang risiko masa depan. Namun, ia dapat membuat klaim keselamatan lebih terbuka untuk diperiksa—jalan di antara perlombaan tanpa batas dan penghentian menyeluruh.
17
23
55