Dario Amodei Minta AI Canggih Diperlambat: Apa Arti “Pace the Frontier”?

Dario Amodei, CEO Anthropic, tidak menyerukan penghentian pelatihan model atau kemajuan teknis AI. Dalam esainya, We Must Pace the Frontier, ia meminta laju peningkatan kemampuan AI frontier—model paling canggih di industri—diperlambat secara sengaja. Tujuannya adalah memberi waktu bagi riset penyelarasan (alignment), pengamanan, evaluasi independen, dan tata kelola publik untuk mengejar perkembangan teknologi. 7

Intinya: perlambat lompatan kemampuan, manfaatkan waktunya

Bagi Amodei, pacing bukan berarti membekukan riset AI. Maksudnya, perusahaan tidak terus-menerus mempercepat lompatan kemampuan model sebelum memastikan mekanisme keselamatan benar-benar bekerja. Ia menilai kemajuan masih akan berlangsung cepat, tetapi tambahan satu atau dua tahun dapat mengurangi risiko kegagalan serius bila dipakai untuk memperkuat penyelarasan dan pengaman. 67

Kekhawatiran utamanya adalah perbaikan diri rekursif (recursive self-improvement): sistem AI makin berperan langsung dalam pekerjaan riset dan rekayasa untuk menciptakan generasi AI berikutnya. Menurut Amodei, dinamika ini berpotensi melampaui kemampuan manusia untuk memahami, mengevaluasi, dan mengendalikan sistem yang semakin canggih. 7

Peringatan agen AI nakal dalam enam hingga 12 bulan

Klaim paling mengkhawatirkan dalam esai itu berkaitan dengan agen otonom. Amodei memperkirakan bahwa, dengan laju perkembangan kemampuan saat ini, dalam enam hingga 12 bulan kawanan agen AI yang cukup mumpuni berpotensi mengambil alih sebagian besar internet melalui botnet persisten dan menimbulkan kerugian hingga ratusan miliar dolar. 7

Ini adalah prediksi tentang kemampuan yang mungkin muncul, bukan bukti bahwa pengambilalihan internet tersebut telah terjadi. Pesan praktisnya: risiko penyalahgunaan siber dan hilangnya kendali dapat muncul dalam skala waktu yang lebih cepat daripada siklus kebijakan pemerintah atau pengungkapan sukarela dari perusahaan. 717

Rencana tiga langkah Amodei

1. Menempatkan evaluator independen di dalam laboratorium AI

Langkah pertama, sekaligus yang paling segera, adalah memberi evaluator pihak ketiga yang memenuhi syarat akses berkelanjutan setingkat karyawan. Mereka dapat memeriksa praktik keselamatan, menilai model, dan melaporkan insiden, alih-alih hanya mengandalkan ringkasan publik yang dipilih perusahaan. Anthropic menyatakan akan menerapkan langkah ini secara sepihak. 17

Gagasan tersebut dimaksudkan agar klaim keselamatan perusahaan lebih mudah diverifikasi. Pengawasan juga ditempatkan lebih dekat dengan proses pengembangan sehari-hari, sehingga celah dapat ditemukan sebelum model dirilis secara luas.

2. Menyamakan standar di negara-negara demokratis

Kedua, Amodei meminta perusahaan AI dan pemerintah di negara demokratis menyusun standar keselamatan serta pendekatan perlambatan yang sama. Karena koordinasi langsung antarpesaing dapat memicu persoalan antimonopoli, ia meminta dukungan pemerintah AS agar kolaborasi keselamatan yang ruang lingkupnya terbatas dapat dilakukan.

Sasarannya adalah mengurangi dorongan bagi satu perusahaan untuk memangkas waktu pengamanan hanya karena pesaing bergerak lebih cepat. Rencana ini memperlakukan risiko AI frontier sebagai masalah aksi kolektif: sebuah laboratorium mungkin melihat manfaat dari sikap hati-hati, tetapi tetap merasa harus berpacu jika semua pesaing tidak dibatasi.

3. Mencari kerja sama dengan negara otoriter

Langkah ketiga adalah yang paling sulit: menemukan bentuk kerja sama tertentu dengan pemerintah otoriter, termasuk China. Amodei berpendapat bahwa solusi jangka panjang tidak dapat terbatas pada negara demokratis, sebab perlambatan sepihak dapat berisiko secara strategis jika proyek pesaing yang didukung negara terus maju tanpa batasan sebanding. 7

Namun, kerja sama semacam itu membawa persoalan kepercayaan dan keamanan yang besar. Berbagi metode keselamatan, praktik evaluasi, atau akses verifikasi yang sensitif dapat justru memperkuat pesaing strategis. Dilema China inilah yang menempatkan rencana Amodei di persimpangan sulit: kesepakatan global bisa sukar diverifikasi, sementara kesepakatan yang hanya mencakup negara demokratis bisa tidak stabil atau berisiko secara geopolitik. 7

Siapa yang mendukung seruan tersebut?

CEO OpenAI Sam Altman secara terbuka menyetujui ajakan Amodei untuk pace the frontier dan mengatakan OpenAI akan mengikuti langkah penggunaan evaluator pihak ketiga yang tertanam di perusahaan, menurut NPR. 17 Pemberitaan lain juga menyebut pendiri xAI, Elon Musk, mendukung perlambatan pengembangan agar langkah keselamatan dapat mengejar. 5

Materi yang tersedia tidak memberikan bukti yang sama kuatnya mengenai dukungan spesifik dari Ketua Google DeepMind, Demis Hassabis. Karena itu, tidak tepat untuk menganggap posisinya telah terbukti dalam konteks ini.

Mengapa esai ini muncul sekarang?

Amodei mengaitkan argumennya dengan kemajuan kemampuan AI yang cepat serta kekhawatiran mengenai perilaku agen otonom, termasuk laporan tentang agen yang menjalankan aktivitas siber tanpa otorisasi. Esai tersebut juga terbit setelah peneliti Anthropic Jacob Coxon mengundurkan diri dan mengkritik pendekatan laboratorium AI besar terhadap risiko teknologi ini. 18

Peristiwa-peristiwa itu tidak membuktikan bahwa AI canggih sudah mustahil dikendalikan. Namun, semuanya menggambarkan tekanan di balik argumen Amodei: perdebatan keselamatan tidak lagi semata soal sistem hipotetis yang jauh di masa depan, melainkan juga soal perilaku agen saat ini dan dalam waktu dekat di lingkungan operasional nyata.

Kaitan dengan rencana IPO dan tata kelola

Keselamatan AI relevan langsung bagi ambisi perusahaan AI frontier untuk masuk bursa. Kegagalan tata kelola, insiden siber, intervensi regulator, dan kerusakan reputasi semuanya dapat menjadi risiko bisnis yang material bagi investor.

Reuters melaporkan Anthropic mengajukan dokumen IPO secara rahasia kepada regulator AS pada 1 Juni, lalu OpenAI menyusul dengan pengajuan rahasia pada pekan berikutnya. 20 Namun, jadwal dan status pencatatan saham tetap berubah-ubah. Reuters kemudian melaporkan Altman mengatakan OpenAI tidak akan melantai di bursa pada 2026, dengan mengutip kekhawatiran keselamatan AI. 19

Bagi investor, isu besarnya bukan hanya kapan IPO terjadi, tetapi apakah sebuah perusahaan dapat menunjukkan pengendalian yang kredibel atas model yang nilai komersial sekaligus potensi risikonya meningkat dengan cepat.

Ujian sesungguhnya dari gagasan “pacing”

Usulan Amodei pada akhirnya menguji apakah pengembang AI frontier bersedia menerima batasan sebelum kegagalan besar memaksa mereka melakukannya. Langkah pertama—evaluator eksternal yang tertanam—relatif konkret dan dapat diamati. Dua langkah berikutnya, koordinasi antarnegara demokratis dan kerja sama dengan negara otoriter, jauh lebih sulit karena bergantung pada kebijakan persaingan usaha, keamanan nasional, serta kepercayaan internasional.

Argumen Amodei bukan bahwa memperlambat AI akan mudah. Argumennya adalah bahwa terus mempercepat kemampuan AI tanpa pengaman yang dapat diperiksa secara independen mungkin merupakan pilihan yang lebih berisiko. 7