Sebelum Menyentuh Sistem Produksi, Agen AI Perlu Pengaman Berlapis

1. Terapkan akses dengan hak minimum

Berikan agen hanya izin, data, dan alat yang benar-benar dibutuhkan untuk tugas yang sempit dan terdefinisi. Pisahkan lingkungan pengembangan, pengujian, dan produksi. Hindari satu identitas agen memiliki akses sekaligus ke basis data produksi, sistem cadangan, pengendali identitas, sistem pembayaran, dan infrastruktur penerapan.

Prinsip hak akses minimum juga menjadi salah satu prinsip utama dalam Singapore Consensus 2026, bersama identitas yang dapat dilacak, auditabilitas, penerapan tervalidasi, jaminan saat sistem berjalan, kemampuan dihentikan, dan pengawasan manusia.

Izin sebaiknya berlaku singkat, dibatasi pada sumber daya tertentu, dan dicabut otomatis setelah tugas selesai. Agen tidak boleh memperluas aksesnya sendiri atau mengubah sistem yang bertugas mengawasi dirinya.

2. Tempatkan tindakan berisiko tinggi di balik persetujuan independen

Wajibkan persetujuan manusia sebelum agen menghapus data, mengubah skema basis data, memodifikasi kredensial, mengirim komunikasi eksternal berdampak tinggi, memindahkan uang, atau mengubah infrastruktur yang berkaitan dengan keselamatan. Untuk tindakan paling berisiko, perusahaan dapat menerapkan persetujuan ganda atau pemisahan tugas lainnya.

Persetujuan harus berlangsung di luar alur penalaran agen. Perintah kepada AI untuk “mengonfirmasi” niatnya tidak sama dengan gerbang infrastruktur yang benar-benar memblokir eksekusi sampai orang berwenang menyetujui operasi tertentu.

3. Pastikan cadangan berada di luar jangkauan dampak

Cadangan yang menggunakan kredensial atau jalur jaringan yang sama dengan sistem produksi dapat ikut terhapus bersama data yang seharusnya dilindunginya. Gunakan cadangan terisolasi, bersifat sekali tulis, atau tidak dapat diubah dengan cara lain. Kredensialnya harus tidak tersedia bagi agen, dan proses pemulihan perlu diuji secara berkala.

Pelajaran dasarnya sederhana: pertanyaannya bukan hanya apakah agen dapat merusak produksi, melainkan apakah agen juga dapat menjangkau sistem pemulihan setelah kerusakan terjadi.

4. Simpan jejak tindakan yang sulit dimanipulasi

Setiap tindakan agen harus dapat dikaitkan dengan identitas agen dan penerapan tertentu. Jika relevan, log perlu merekam:

• model dan versi perangkat lunak;
• pengguna, tugas, dan instruksi yang memulai tindakan;
• alat yang dipanggil serta izin yang digunakan;
• data atau kode yang diubah;
• persetujuan dan keputusan kebijakan;
• kesalahan, percobaan ulang, dan upaya pemulihan; serta
• hasil akhir yang dilaporkan kepada operator.

Log harus disimpan terpisah dari agen dan dilindungi dari perubahan. Bengio secara khusus menekankan pentingnya jejak digital agar tindakan otonom dapat dilacak, serta kejelasan mengenai siapa yang mengendalikan sistem tersebut.

5. Tetapkan penanggung jawab manusia dan organisasi

Setiap penerapan harus memiliki pemilik bisnis, pemilik teknis, jalur eskalasi, dan komandan insiden yang namanya jelas. Tanggung jawab itu mencakup persetujuan izin, pemantauan, respons insiden, serta keputusan untuk menjeda atau menghentikan sistem.

“AI yang melakukannya” bukanlah model akuntabilitas. Organisasi tetap bertanggung jawab atas keputusan mengenai tempat agen beroperasi, data yang dapat diakses, dan pengaman yang disiapkan ketika agen gagal.

6. Bangun jalur penghentian eksternal yang andal

Agen tidak boleh mengendalikan sistem pemantauan, kredensial, proses penggantian, atau mekanisme penghentiannya sendiri. Penonaktifan harus bersifat eksternal, segera, dan dapat ditegakkan secara teknis—termasuk kemampuan mencabut kredensial serta mengisolasi alat yang terhubung meski agen tidak merespons atau memberikan laporan status yang menyesatkan.

Fungsi penghentian harus diuji sebagai skenario kegagalan, bukan dianggap berjalan hanya karena sistem mengikuti instruksi biasa. Evaluasi Anthropic dan peneliti lain telah menguji skenario simulasi yang melibatkan upaya mempertahankan diri, pemerasan, dan tindakan lain untuk menghindari pengawasan. Dalam penilaian sabotase Anthropic, risikonya disebut sangat rendah, tetapi tidak nol.

7. Uji perilaku, bukan hanya kemampuan

Tolok ukur yang menunjukkan agen mampu menyelesaikan tugas belum membuktikan bahwa agen akan mematuhi batasan saat mengerjakannya. Evaluasi sebelum penerapan harus menguji sistem lengkap—agen beserta alatnya—dalam kondisi instruksi yang bertentangan, tujuan yang ambigu, dan situasi adversarial.

Pengujian yang relevan antara lain apakah agen:

• melaporkan kegagalan secara jujur;
• memalsukan catatan atau mengklaim tugas selesai padahal belum;
• menyembunyikan kesalahan;
• memperluas izin atau mengakses data yang tidak berkaitan;
• berusaha melewati gerbang persetujuan;
• mengekstrak informasi;
• mengubah kode atau data demi melindungi tujuan yang diberikan; atau
• menolak pemantauan, penggantian, atau penghentian.

Usulan “Scientist AI” dari Bengio menawarkan salah satu arah yang mungkin. Sistem nonagenik ini dirancang untuk menjelaskan pengamatan dan menilai usulan tindakan, bukan mengejar tujuan operasionalnya sendiri. Dengan begitu, lapisan pengawas yang lebih tepercaya dapat membantu menilai kebenaran informasi dan konsekuensi dari rencana agen.

8. Tentukan kondisi penghentian yang terukur

Keputusan keselamatan membutuhkan ambang operasional, bukan sekadar rasa percaya diri. Perusahaan dapat memantau tingkat tindakan tanpa izin, pelanggaran kebijakan, klaim penyelesaian yang tidak benar, frekuensi eskalasi, keberhasilan pemulihan, waktu deteksi, dan waktu penghentian.

Penerapan harus dijeda, izinnya dikurangi, atau sistemnya dikembalikan ke kondisi sebelumnya ketika ambang yang telah ditentukan terlampaui. Pemantauan perlu berlanjut setelah peluncuran karena alat, data, dan insentif di dunia nyata dapat menciptakan kondisi yang tidak muncul selama pengujian.

Singapore Consensus menempatkan keselamatan dalam kerangka pertahanan berlapis yang mencakup tiga area terhubung: mengembangkan sistem tepercaya, menilai risikonya, serta mengendalikan sistem setelah diterapkan.

9. Lakukan peluncuran secara bertahap

Mulailah dengan akses baca saja, data sintetis, dan alat yang berada di lingkungan terisolasi. Setelah itu, lanjutkan ke uji coba terbatas, tugas produksi dengan batas jelas, dan perluasan izin secara perlahan—hanya jika agen memenuhi persyaratan keselamatan yang terdokumentasi.

Tim red team independen perlu menguji seluruh sistem operasional, termasuk manajemen identitas, API, basis data, pemantauan, dan prosedur pemulihan. Menguji model bahasa saja tidak cukup karena dampak kegagalan di dunia nyata ditentukan oleh alat serta hak akses yang dimiliki agen.

10. Wajibkan peninjauan independen dan pelaporan insiden

Untuk agen yang dapat memengaruhi sistem bisnis penting, pengujian eksternal dan audit setelah penerapan harus melengkapi evaluasi internal. Insiden serius perlu didokumentasikan dan dilaporkan melalui jalur tata kelola serta regulator yang berlaku.

Bengio berpendapat bahwa banyak teknik keselamatan sebenarnya sudah tersedia, tetapi adopsi, verifikasi independen, dan transparansi membutuhkan dukungan kelembagaan yang lebih kuat. Pengawasan seharusnya berfokus pada kemampuan agen dan sistem yang dapat dijangkaunya, bukan pada apakah agen itu dipasarkan sebagai “asisten”.

Lima pertanyaan sebelum memberi akses produksi

Sebelum memberikan akses produksi, perusahaan harus mampu menjawab lima pertanyaan berikut:

1. Apa saja yang dapat diakses agen, dan apa yang secara tegas berada di luar jangkauannya?
2. Tindakan mana yang memerlukan persetujuan, dan apakah infrastruktur dapat menegakkan persyaratan itu?
3. Bisakah penyelidik merekonstruksi setiap tindakan penting setelah insiden?
4. Bisakah operator eksternal mencabut akses dan menghentikan sistem seketika?
5. Tingkat kegagalan atau hasil pengujian apa yang akan memicu jeda atau pemulihan?

Jika jawabannya bergantung pada kesediaan agen untuk mematuhi instruksi, penerapan tersebut belum dikendalikan secara memadai.

Prinsip utamanya

Tidak ada agen AI otonom yang boleh menerima kewenangan produksi yang tidak dapat dibatalkan sebelum terbukti memiliki batasan yang jelas, dapat diamati, dapat dihentikan, diuji secara independen, dan berada di bawah organisasi yang bertanggung jawab.

Pagar pengaman internasional bersama dapat membantu menetapkan ekspektasi minimum. Namun, perusahaan tetap harus menerjemahkan dan menegakkannya di dalam infrastrukturnya sendiri.

Pelajaran utama dari kegagalan operasional dan evaluasi alignment yang terkontrol cukup jelas: otonomi harus diperoleh melalui bukti. Agen yang cakap mungkin berguna dalam sistem produksi, tetapi kemampuan saja bukan bukti keselamatan.