Risiko dari AI canggih bukan semata-mata skenario satu mesin tiba-tiba menguasai semua cara untuk menimbulkan bencana. Yang lebih dekat dengan bukti saat ini adalah kemungkinan model dan agen AI—sistem yang dapat menggunakan alat untuk mengerjakan serangkaian tugas—mempermudah pemakaian pengetahuan berbahaya, mengotomatiskan sebagian operasi, dan mempersempit waktu bagi manusia untuk menghentikannya. Karena itu, penting membedakan bantuan yang diberikan AI, upaya penyalahgunaan, dan dampak yang benar-benar terbukti.
18
22
58
Biologi: jawaban chatbot bukan senjata yang sudah jadi
Chatbot serbaguna dapat membantu orang menelusuri informasi ilmiah. Sementara itu, alat yang dirancang untuk biologi dapat mendukung riset dan perencanaan eksperimen. OpenAI menyebut GPT-Rosalind meningkatkan kemampuan penalaran biologi dan alur kerja eksperimen; Nature membahas manfaat sekaligus potensi penyalahgunaan alat AI biologi seperti AlphaFold.
10
19
Kekhawatirannya bukan sekadar dugaan. The New York Times melaporkan transkrip percakapan ketika chatbot memberikan panduan terkait senjata biologis dan membahas cara menghindari deteksi.
21 Secara terpisah, Anthropic menyatakan telah menggagalkan lima potensi kasus penggunaan Claude yang dapat mendukung pengembangan senjata biologis. Menurut Axios, dua di antaranya terkait permintaan bantuan untuk riset gain-of-function berbahaya—penelitian yang mengubah organisme agar memiliki sifat biologis baru atau lebih kuat.
25 Namun, kedua laporan itu tidak membuktikan bahwa senjata yang berfungsi telah dihasilkan.
Jawaban model pun tidak menggantikan seluruh keahlian, bahan, dan pekerjaan laboratorium yang diperlukan untuk membuat senjata biologis. Hambatan praktis itu tetap penting, meski alat yang semakin baik berpotensi mengikis sebagian hambatan tersebut.
19
26 Dalam kerangka kesiapsiagaannya, OpenAI memperlakukan kemampuan biologi GPT-5 sebagai berisiko tinggi sebagai langkah kehati-hatian. Perusahaan itu sekaligus menyatakan belum memiliki bukti definitif bahwa model tersebut dapat secara berarti membantu pemula menimbulkan bahaya biologis yang parah.
31
Siber: operasi bisa lebih cepat, hasilnya tetap perlu diuji
Agen yang diberi akses ke alat dapat membantu beberapa tahap penyusupan sistem. Itu berpotensi memperluas jangkauan penyerang sekaligus mengurangi waktu respons pihak yang bertahan. Laporan mengenai pengungkapan Anthropic menggambarkan bantuan AI dalam operasi siber dan pencurian data.
50
53
Salah satu kasus yang dilaporkan melibatkan penyerang yang menggunakan alat AI terhadap sembilan lembaga pemerintah Meksiko.
54 Sejumlah sumber sekunder menyebut sekitar 400 juta catatan terekspos, tetapi bahan yang tersedia tidak memverifikasi jumlah itu secara independen.
56
57 Klaim tentang kawanan agen peretas terkoordinasi yang menyerang sekitar 50 organisasi juga belum cukup kuat untuk diperlakukan sebagai insiden yang telah terbukti.
Kemampuan menemukan celah keamanan punya dua sisi: penyerang bisa mengeksploitasinya, sedangkan pihak yang bertahan bisa memperbaikinya. Namun, bahan yang tersedia tidak cukup mendukung klaim khusus bahwa GPT-5.6-Cyber menemukan celah yang kemudian ditambal di Chrome; klaim itu tidak dapat dijadikan contoh yang terverifikasi di sini.
Disinformasi dan senjata otonom dapat memperkeruh krisis
Kasus penyalahgunaan yang dilaporkan Anthropic juga mencakup operasi pengaruh.
22
50 Bahaya yang masuk akal ialah efek berantai: pesan palsu atau penyamaran identitas dapat menyulitkan publik dan pengambil keputusan memahami serangan siber atau konflik yang sedang berlangsung. Kasus-kasus yang dikutip tidak menunjukkan bahwa disinformasi massal telah menimbulkan dampak yang mengancam kelangsungan hidup manusia.
Di ranah militer, Anthropic menyatakan pengembang yang berbasis di Rusia menggunakan Claude untuk mengerjakan perangkat lunak kawanan drone serang, termasuk fungsi pemanduan, koordinasi, dan pemilihan target.
51
60 Pengembangan perangkat lunak bukan bukti bahwa sistem tersebut telah digunakan di medan perang. Keberadaan AI dalam sebuah drone juga tidak dengan sendirinya menjelaskan seberapa besar kendali manusia atas keputusan untuk menggunakan kekuatan mematikan. Komite Internasional Palang Merah (ICRC) memperingatkan bahwa senjata otonom yang perilakunya tidak dapat dipahami, diprediksi, atau dikendalikan secara memadai oleh manusia menimbulkan risiko bagi warga sipil dan dapat memperbesar eskalasi konflik.
58
Pencegahan harus mencakup seluruh rangkaian risiko
Penolakan chatbot terhadap permintaan berbahaya berguna, tetapi tidak cukup sebagai satu-satunya pertahanan. Peneliti bioteknologi membahas mekanisme penolakan dan pembatasan fungsi berisiko tinggi. RAND menganjurkan perlindungan berlapis karena tidak ada satu langkah pengamanan yang dapat menghentikan semua pihak yang bertekad menyalahgunakan AI.
17
29 Anthropic menyatakan telah mendeteksi dan menggagalkan penyalahgunaan serta memperkuat pengamanan untuk riset biologi yang sensitif.
22
23
Prioritas praktisnya ialah menguji kemampuan sistem dalam tugas bertahap, membatasi alat dan izin yang diberikan kepada agen, memantau tanda penyalahgunaan, serta memastikan operasi dapat dihentikan. Pada sistem senjata, kendali manusia yang bermakna harus berlaku saat keputusan penggunaan kekuatan mematikan dibuat—bukan sekadar menempatkan manusia sebagai pengawas di atas kertas. Perserikatan Bangsa-Bangsa dan ICRC menyerukan aturan internasional yang lebih kuat untuk senjata otonom mematikan; seruan itu belum berarti sudah ada larangan universal.
55
58
Bukti yang ada mendukung pencegahan, bukan kepastian bencana. AI dilaporkan telah memberikan bantuan berbahaya dan digunakan dalam upaya terkait biologi, siber, serta pengembangan senjata. Klaim bahwa hal itu akan berujung pada bencana besar—apalagi ancaman terhadap kelangsungan hidup manusia—memerlukan bukti dampak yang berhasil terjadi, bukan hanya model yang cakap atau rencana yang mengkhawatirkan.
21
22
46