TamperBench menemukan perlindungan keselamatan 21 model AI open-weight belum tahan terhadap manipulasi

Studi TamperBench yang dipresentasikan pada ACM KDD ’26 menemukan bahwa tidak satu pun dari 21 model AI open-weight yang diuji memiliki perlindungan keselamatan yang cukup tangguh untuk menghadapi seluruh ancaman manipulasi yang dievaluasi. Semua model dapat dibuat lebih mudah menghasilkan keluaran berbahaya, sementara sebagian besar kemampuan penalarannya tetap dipertahankan. 25

Temuan ini penting karena bobot model open-weight dapat disalin, di-fine-tune, dan didistribusikan ulang. Setelah bobot berada di tangan publik, pengembang awal tidak lagi dapat sepenuhnya mengendalikan perubahan atau penerapan perlindungan keselamatan di tahap berikutnya.

Apa yang diuji TamperBench?

Benchmark ini menguji 21 model open-weight, termasuk model dari keluarga Llama, Qwen3, dan Mistral, dengan ukuran sekitar 600 juta hingga 8 miliar parameter. 28 Para peneliti mengevaluasi sembilan metode manipulasi pada ruang bobot (weight space) dan representasi laten (latent space).

Metode tersebut mencakup:

• fine-tuning yang tampak tidak berbahaya;
• fine-tuning dengan tujuan berbahaya secara terbuka;
• fine-tuning jailbreak terselubung yang menyerupai poisoning;
• fine-tuning multibahasa; serta
• serangan terhadap embedding atau representasi laten. 2

Untuk mengukur dampaknya secara realistis, peneliti memilih konfigurasi serangan yang meningkatkan skor keluaran berbahaya semaksimal mungkin, tetapi membatasi penurunan akurasi penalaran MMLU-Pro hingga paling banyak 10 persen dibandingkan model sebelum serangan. 2

Serangan mana yang paling efektif?

Serangan jailbreak melalui fine-tuning terselubung umumnya menjadi yang paling parah. Varian yang paling menonjol meliputi:

• Competing objectives, yang menanamkan tujuan baru yang bertentangan dengan perilaku keselamatan model;
• Backdoor, yang dapat memicu perilaku tertentu melalui pola atau kondisi khusus; dan
• Style modulation, yang mengubah gaya respons model agar lebih mudah mengeluarkan jawaban berbahaya.

Serangan-serangan ini biasanya dilatih terutama dengan data yang tampak benign, disertai komponen berbahaya dalam jumlah kecil. Hasilnya, penghilangan perlindungan tidak selalu disertai penurunan kemampuan yang mudah terlihat. 2

Dengan kata lain, model tidak harus dibuat “rusak total” agar menjadi risiko. Model masih dapat menjawab pertanyaan penalaran dan menjalankan tugas umum, tetapi pada saat yang sama menjadi jauh lebih permisif terhadap permintaan berbahaya.

Studi yang tersedia tidak memuat angka kenaikan tingkat keberbahayaan secara terpisah untuk Llama-3-8B-Instruct atau Qwen3-8B-Instruct. Karena itu, tidak ada angka spesifik yang dapat disampaikan secara andal untuk kedua model tersebut.

Apakah model dengan pertahanan tambahan ikut aman?

Belum. Lima model yang telah diperkuat dengan metode pertahanan—termasuk varian ReFAT dan Circuit Breaking—juga rentan terhadap serangan dalam rangkaian pengujian. Metode pertahanan memang meningkatkan ketahanan dalam kondisi tertentu, tetapi tidak secara konsisten mencegah penghilangan perlindungan keselamatan di seluruh benchmark. 25

Temuan ini tidak berarti pertahanan tambahan sama sekali tidak berguna. Namun, hasilnya menunjukkan bahwa keberhasilan pada pengujian alignment sebelum rilis belum cukup untuk menjadi jaminan keamanan setelah bobot model dapat dimodifikasi.

Apa dampaknya bagi pengembangan dan penggunaan AI?

Para peneliti tidak menyimpulkan bahwa model open-weight tidak bermanfaat. Keterbukaan tetap mendukung penelitian, audit, dan akuntabilitas. Akan tetapi, model yang telah melewati evaluasi keselamatan biasa tidak seharusnya otomatis dianggap aman untuk didistribusikan secara terbuka. 5

Risikonya juga tidak terbatas pada penyalahgunaan manual oleh satu orang. Jika kemampuan model tetap terjaga setelah perlindungan dilemahkan, model tersebut berpotensi digunakan untuk penyalahgunaan berskala besar, seperti disinformasi massal, penipuan dan phishing yang lebih canggih, atau pembuatan panduan teknis berbahaya. 5

Model komersial tertutup yang diakses melalui API juga dapat menghadapi risiko manipulasi terkait. Namun, penyedia layanan masih mengendalikan proses fine-tuning dan penerapan model, sehingga dapat menambahkan pertahanan pada tahap tersebut—sesuatu yang jauh lebih sulit dilakukan setelah bobot open-weight disalin dan disebarkan bebas. 25

Rekomendasi TamperBench

Para peneliti menyerukan:

• riset yang lebih kuat mengenai ketahanan model terhadap manipulasi;
• evaluasi adversarial terstandar seperti TamperBench sebelum rilis;
• penilaian dan pengadaan AI yang lebih berbasis bukti; serta
• pemeriksaan ekstra ketika AI digunakan dalam layanan publik seperti layanan kesehatan, deteksi penipuan, dan pendidikan. 25

Kesimpulan utamanya cukup jelas: pada model dengan bobot yang dapat dimodifikasi, perlindungan keselamatan tidak boleh diperlakukan sebagai fitur permanen hanya karena berhasil dalam pengujian pra-rilis. Ketahanan terhadap manipulasi perlu diuji sebagai persoalan keamanan tersendiri.