TamperBench menemukan seluruh 21 model AI open-weight rentan terhadap penghilangan pengaman

Temuan utama TamperBench cukup mengkhawatirkan: tidak satu pun dari 21 model bahasa open-weight yang diuji memiliki perlindungan keselamatan yang secara konsisten mampu bertahan dari seluruh ancaman manipulasi dalam pengujian. Model-model tersebut memiliki sekitar 600 juta hingga 8 miliar parameter dan mencakup varian standar maupun varian dengan pertahanan tambahan. Sedikitnya satu metode serangan dapat membuat setiap model lebih bersedia menghasilkan konten berbahaya, sementara sebagian besar kemampuan umumnya tetap bertahan. 256

Hal ini penting karena model open-weight dapat disalin, di-fine-tune, lalu didistribusikan ulang setelah dirilis. Lapisan keselamatan yang bekerja saat evaluasi awal pengembang belum tentu menjadi kontrol yang tahan lama ketika pengguna dapat mengubah bobot model.

Apa yang diuji TamperBench?

TamperBench dirancang untuk mengukur ketahanan terhadap manipulasi, bukan sekadar ketahanan terhadap jailbreak berbasis prompt. Kerangka ini menggabungkan serangan fine-tuning pada ruang bobot dengan serangan yang memanipulasi representasi laten, kemudian menilai perilaku keselamatan sekaligus kemampuan model yang masih dipertahankan. Untuk setiap pasangan model dan serangan, benchmark ini menggunakan pencarian hiperparameter sistematis, bukan hanya satu konfigurasi serangan. 2

Studi tersebut mencakup sembilan jenis ancaman manipulasi, antara lain:

• fine-tuning yang tampak tidak berbahaya;
• fine-tuning yang secara terang-terangan menggunakan data berbahaya;
• fine-tuning jailbreak terselubung atau bergaya poisoning;
• fine-tuning multibahasa; serta
• serangan terhadap embedding dan representasi laten lainnya. 2

Pengujian tidak hanya menanyakan apakah model dapat dibuat tidak aman. Para peneliti mencari serangan yang meningkatkan respons berbahaya, tetapi tetap menjaga penurunan akurasi penalaran MMLU-Pro dalam batas 10% dari kinerja model sebelum diserang. 2

Serangan mana yang paling efektif?

Hasil paling berat umumnya berasal dari serangan jailbreak-tuning. Varian yang dilaporkan dalam studi ini mencakup competing objectives, backdoor, dan style modulation. Serangan tersebut menarik perhatian karena dapat menggunakan sebagian besar data pelatihan yang tampak jinak dengan hanya sedikit komponen berbahaya. Dengan begitu, pendekatannya tidak terlihat seperti upaya kasar untuk melatih ulang model agar berperilaku berbahaya, melainkan usaha terarah untuk mengubah perilaku keselamatan sambil mempertahankan kegunaan model. 26

Kesimpulan yang lebih luas dari makalah ini adalah bahwa keselamatan dan kemampuan model dapat dipisahkan dengan cara yang merugikan: manipulasi dapat melemahkan perilaku penolakan tanpa menghancurkan kemampuan penalaran secara sebanding. Akibatnya, model masih dapat terlihat berguna pada benchmark konvensional, tetapi menjadi jauh lebih berisiko ketika diterapkan.

Bagaimana hasilnya pada Llama, Qwen3, dan model lain?

TamperBench mengevaluasi 21 model open-weight dengan ukuran 0,6B hingga 8B parameter, termasuk keluarga model seperti Llama, Qwen3, dan Mistral. Bukti studi yang tersedia mendukung temuan umum bahwa setiap model yang diuji rentan terhadap setidaknya satu serangan dalam rangkaian evaluasi. 56

Namun, materi sumber yang tersedia tidak mencantumkan angka pasti peningkatan tingkat respons berbahaya pada Llama-3-8B-Instruct atau Qwen3-8B-Instruct ketika penurunan kinerja MMLU-Pro dibatasi maksimal 10%. Karena itu, angka spesifik untuk kedua model tersebut tidak dapat disimpulkan dari hasil keseluruhan.

Kesimpulan yang dapat dipertanggungjawabkan bersifat komparatif dan kualitatif: serangan mampu meningkatkan perilaku berbahaya secara substansial sambil mempertahankan sebagian besar kemampuan penalaran model. Akan tetapi, bukti yang tersedia tidak menetapkan persentase peningkatan yang tepat untuk masing-masing model. Studi ini juga melaporkan bahwa varian dasar dan varian yang telah menjalani post-training tidak menunjukkan pola ketahanan yang seragam. Perbandingan ketahanan dapat berbeda antar-keluarga model, dengan tren yang berlawanan pada varian Llama 3 dan Qwen3. 6

Apakah pertahanan tambahan menyelesaikan masalah?

Belum. Lima model dengan pertahanan tambahan yang diuji—termasuk varian ReFAT dan Circuit Breaking—juga rentan terhadap rangkaian serangan benchmark. Pertahanan tersebut memang meningkatkan ketahanan dalam beberapa kondisi, tetapi tidak secara konsisten mencegah penghilangan pengaman di seluruh ancaman yang diuji. 25

Studi itu mengidentifikasi Triplet sebagai salah satu pertahanan yang relatif lebih tangguh sekaligus mampu mempertahankan kemampuan model dalam perbandingan yang dilakukan. Ini merupakan sinyal positif untuk riset, bukan jaminan keamanan. Temuan utama benchmark tetap sama: tidak ada pertahanan yang diuji berhasil menghapus persoalan manipulasi di seluruh rangkaian serangan. 6

Mengapa risikonya berbeda pada model open-weight dan API?

Temuan ini bukan berarti model open-weight tidak bernilai. Rilis terbuka dapat mendukung penelitian, audit, dan akuntabilitas. Pelajaran yang lebih spesifik adalah bahwa model yang lolos evaluasi keselamatan atau alignment sebelum dirilis tidak otomatis aman setelah bobotnya dimodifikasi secara bebas. 5

Model komersial tertutup atau model yang diakses melalui API juga menghadapi pertanyaan terkait fine-tuning dan keselamatan setelah post-training. Namun, penyedianya masih memiliki kendali lebih besar atas alur pelatihan dan lingkungan penerapan. Kendali ini memungkinkan penerapan perlindungan saat proses fine-tuning atau setelah kustomisasi—sesuatu yang jauh lebih sulit dipaksakan ketika bobot model telah didistribusikan secara publik. 25

Dampak terhadap penyalahgunaan berskala besar dan pengadaan AI

Risiko yang disoroti TamperBench bukan hanya kemungkinan seseorang menemukan satu prompt yang membuat model gagal menolak permintaan tertentu. Jika manipulasi dapat mempertahankan kemampuan model yang berguna, model yang telah dimodifikasi berpotensi digunakan berulang kali untuk tugas berbahaya, seperti disinformasi berskala besar, phishing atau penipuan, maupun bantuan teknis berisiko. Para peneliti menyampaikan hal-hal tersebut sebagai implikasi dari penghilangan pengaman yang tetap mempertahankan kemampuan, bukan sebagai bentuk penyalahgunaan yang diukur langsung oleh benchmark. 5

Bagi organisasi yang sedang memilih model, pelajaran praktisnya adalah membedakan dua jenis pengujian:

1. pengujian keselamatan biasa, yang menilai perilaku model sebagaimana dirilis; dan
2. pengujian ketahanan terhadap manipulasi, yang menilai perubahan perilaku setelah model mengalami modifikasi yang masuk akal.

Para peneliti menyerukan metode ketahanan terhadap manipulasi yang lebih kuat, evaluasi adversarial terstandardisasi seperti TamperBench sebelum rilis, serta proses penilaian dan pengadaan AI yang lebih berbasis bukti. Mereka secara khusus menunjuk sektor berdampak tinggi—termasuk layanan kesehatan, deteksi penipuan, pendidikan, dan layanan publik—yang perilaku model setelah dirilisnya bisa sama pentingnya dengan catatan keselamatan awal. 25

Kesimpulan

TamperBench tidak membuktikan bahwa setiap model open-weight pasti akan disalahgunakan. Studi ini menunjukkan bahwa, dari 21 model yang diuji, perlindungan keselamatan belum menjadi jaminan yang andal ketika penyerang dapat memanipulasi model.

Jailbreak-tuning terselubung umumnya menjadi kategori serangan terkuat. Pertahanan tambahan membantu dalam sejumlah kondisi, tetapi belum menutup celah secara menyeluruh. Selain itu, bukti yang tersedia tidak mendukung penyebutan persentase peningkatan tingkat bahaya yang presisi untuk model Llama atau Qwen3 tertentu.

Bagi model open-weight, evaluasi keselamatan tidak cukup hanya menguji kemampuan model saat peluncuran. Pengujian juga perlu menilai seberapa banyak perilaku keselamatannya yang tetap bertahan setelah model dimodifikasi.