Peneliti Keamanan AI Frontier Kelelahan: Mengapa Mereka Menyerukan Perlambatan

Pekerjaan keselamatan AI frontier—model paling canggih yang berada di garis depan kemampuan—menciptakan tekanan yang khas. Sebagian peneliti bertugas menguji sistem yang mereka nilai berpotensi menimbulkan bahaya serius, tetapi belum tentu memiliki wewenang untuk menunda peluncuran atau mewajibkan perbaikan.

Laporan menyebut sejumlah staf di UK AI Safety Institute (AISI), lembaga Inggris yang mengevaluasi model AI frontier, mengambil cuti medis atau mencari konseling. Jadwal pengujian yang ketat, moral kerja yang rendah, dan kekhawatiran atas penyebaran teknologi yang sangat cepat disebut sebagai faktor yang berkontribusi. Laporan ini tidak membuktikan bahwa tekanan tersebut dialami semua pegawai AISI maupun semua pekerja di Anthropic, OpenAI, atau Google DeepMind. Namun, hal itu menjadi peringatan tentang beban manusiawi dalam perlombaan teknologi berisiko tinggi. 2

Mengapa pekerjaan ini dapat terasa begitu berat

Peneliti keselamatan tidak menilai teknologi yang masih jauh dan abstrak. Mereka menguji model yang bisa segera dipakai atau dirilis. Di sinilah muncul benturan antara tanggung jawab profesional dan dorongan institusional untuk terus maju: menemukan celah keamanan tidak otomatis berarti peneliti punya kuasa menghentikan peluncuran.

Tekanan yang dilaporkan di AISI berkaitan dengan waktu evaluasi yang dipersingkat untuk sistem yang belum dirilis, sementara kemampuan model dan rencana komersialisasinya bergerak cepat. 2 Dalam situasi seperti itu, burnout dapat diperparah oleh perasaan memikul tanggung jawab atas risiko yang tak bisa diselesaikan seorang evaluator sendirian.

Ini lebih tepat dipahami sebagai persoalan kelembagaan, bukan bukti bahwa seorang pekerja bertindak tidak rasional atau bahwa bencana pasti terjadi. Masalahnya muncul ketika konsekuensi kesalahan dipandang sangat besar, laju kerja sangat tinggi, dan mekanisme intervensi independen tidak cukup jelas.

Risiko yang dikhawatirkan para peneliti

Kekhawatiran mencakup penyalahgunaan dalam waktu dekat serta skenario jangka panjang yang lebih spekulatif mengenai hilangnya kendali.

Penyalahgunaan siber dan biologis

Model yang sangat kuat berpotensi menurunkan tingkat keahlian, waktu, atau biaya yang diperlukan untuk melakukan aktivitas berbahaya. Jacob Coxon, mantan peneliti Anthropic yang sebelumnya bekerja di OpenAI, menyebut ancaman biologis berbantuan AI dan senjata siber sebagai jalur yang masuk akal menuju bahaya besar. 15

Ini bukan klaim bahwa model tertentu sudah menyebabkan peristiwa semacam itu. Justru, risiko tersebut menjadi alasan tim keselamatan menekankan evaluasi, pengendalian akses, dan pemantauan sebelum sistem dengan kemampuan penalaran atau perilaku agen yang lebih kuat digunakan secara luas.

Sistem yang berkembang lebih cepat daripada pengawasan

Kekhawatiran lain adalah AI dapat mengotomatisasi semakin banyak bagian dari riset dan rekayasa, sehingga mempercepat siklus pengembangan itu sendiri. Laporan CSET di Georgetown menyatakan bahwa riset dan pengembangan AI yang sangat terotomatisasi dapat mempercepat kemajuan kemampuan sekaligus membuat sistem lebih sulit dipahami dan dikendalikan manusia. Laporan itu menyajikannya sebagai skenario risiko yang mungkin, bukan hasil yang sudah pasti. 48

Bukti saat ini juga memberi batas penting. Sebuah studi menemukan agen AI mampu menyelesaikan pekerjaan rekayasa riset yang substansial tanpa bantuan manusia, tetapi tidak membuat kemajuan berarti pada pertanyaan riset terbuka yang diuji. 49 Jadi, perbaikan diri rekursif sepenuhnya belum terbukti. Kekhawatirannya terletak pada arah dan kecepatannya: otomatisasi parsial saja dapat mempersempit waktu yang tersedia untuk evaluasi, tata kelola, dan koreksi.

Mengapa pengunduran diri Jacob Coxon mendapat perhatian luas

Pengunduran diri Coxon secara terbuka memberi wajah manusia pada kekhawatiran yang sering kali dibahas secara internal. Setelah bekerja pada riset pretraining di OpenAI dan Anthropic, ia mengatakan kedua perusahaan berlomba menuju superinteligensi yang mampu memperbaiki diri tanpa bertindak cukup bertanggung jawab. Kepada BBC, ia juga mengatakan orang-orang yang mengerjakan teknologi itu “benar-benar ketakutan” oleh lajunya dan kemungkinan dampaknya. 1

Pengunduran diri seseorang tentu tidak membuktikan semua prediksi yang ia buat. Namun, peristiwa itu memperlihatkan dilema di tempat kerja: apakah bertahan di dalam laboratorium adalah cara terbaik untuk memperkuat pengaman, atau justru keluar dan berbicara ke publik diperlukan ketika jalur internal dianggap tidak memadai.

Mengapa satu laboratorium sulit memperlambat perlombaan sendirian

Masalah utama tata kelolanya adalah aksi kolektif. Laboratorium yang memperlambat pengembangan kemampuan AI secara sepihak mungkin khawatir tertinggal dari pesaing. Sementara itu, pekerja di dalam laboratorium tersebut bisa memiliki pengaruh yang lebih kecil lagi terhadap perlombaan di seluruh industri.

Diskusi Stanford HAI mengenai kemungkinan memperlambat AI menyimpulkan bahwa perlambatan luas dalam pengembangan kemampuan AI akan sulit diwujudkan. Meski demikian, para panelis menekankan pentingnya evaluasi independen oleh pemerintah atau pihak ketiga yang kompeten, serta investasi yang lebih kuat pada keselamatan, keamanan, dan pemantauan. 18

Kerangka ini lebih konkret daripada membebankan seluruh tanggung jawab kepada peneliti individual. Pertanyaannya bergeser dari hati nurani pribadi ke aturan bersama: siapa yang melakukan pengujian, apa konsekuensinya ketika ambang risiko terlampaui, dan siapa yang bisa memverifikasi kepatuhan?

Apakah seruan perlambatan dari industri benar-benar serius?

Dario Amodei dari Anthropic, Sam Altman dari OpenAI, dan Demis Hassabis dari Google DeepMind telah menyatakan dukungan, dalam derajat yang berbeda-beda, terhadap perlambatan atau pengaturan laju pengembangan AI frontier. 32 Salah satu usulan yang dibicarakan secara publik adalah memberi evaluator luar yang independen akses berkelanjutan ke laboratorium AI frontier. 36

Namun, komitmen publik tidak sama dengan pembatasan yang dapat ditegakkan. Para pengkritik mengingatkan bahwa pembekuan AI yang dirancang perusahaan dominan berpotensi mengonsolidasikan kekuasaan mereka dan merugikan pesaing yang lebih kecil. 34 Dua hal dapat sama-sama benar: sebagian pemimpin mungkin sungguh melihat risiko keselamatan, tetapi perusahaan mapan tetap dapat diuntungkan oleh aturan yang sulit dipenuhi penantang.

Karena itu, ukuran yang lebih berguna adalah keterverifikasian, bukan menebak motif. Komitmen keselamatan yang serius akan lebih mudah dinilai melalui:

• evaluasi independen yang tidak dikendalikan semata-mata oleh pengembang;
• ambang risiko dan konsekuensi yang jelas saat ambang itu dilampaui;
• pelaporan insiden serta praktik keamanan yang transparan;
• pengawasan eksternal yang bermakna; dan
• perlindungan bagi pekerja yang melaporkan kekhawatiran keselamatan.

Apa yang ditunjukkan—dan tidak ditunjukkan—oleh laporan ini

Laporan-laporan tersebut tidak membuktikan bahwa kepunahan manusia sudah dekat, bahwa semua pegawai laboratorium AI frontier mengalami tekanan psikologis, atau bahwa sistem AI saat ini sudah dapat memperbaiki diri secara otonom tanpa batas.

Namun, laporan itu menunjukkan mengapa sebagian orang yang paling dekat dengan teknologi ini menilai situasinya sulit secara etis: sistem kuat diuji di bawah tekanan waktu; risiko yang dikhawatirkan meliputi penyalahgunaan siber dan biologis serta hilangnya kendali; sementara lembaga yang mengatur peluncuran belum tentu memiliki independensi atau kewenangan memadai. 2 15 18

Bagi peneliti keselamatan AI, gabungan kondisi tersebut dapat mengubah pekerjaan teknis menjadi persoalan tanggung jawab pribadi. Respons yang bertahan lama bukan membebankan tanggung jawab itu pada pekerja seorang diri, melainkan membangun sistem evaluasi dan akuntabilitas yang kredibel serta dapat diverifikasi secara independen—dan yang mampu mengimbangi teknologi yang hendak diaturnya.