GLM-5.3 Hampir Menyamai Claude Mythos dalam Satu Uji Eksploitasi

Evaluasi Anthropic pada September 2026 menemukan bahwa GLM-5.3, model berbobot terbuka dari Z.ai, mampu membuat eksploit siber end-to-end dengan hasil yang mendekati Claude Mythos Preview dalam satu benchmark. Namun, laporan yang sama juga menyebut pengaman GLM-5.3 kerap bisa dilewati dengan cara sederhana dalam simulasi. Temuan ini memunculkan pertanyaan tentang seberapa luas kemampuan siber canggih sebaiknya tersedia. Tetapi hasil uji terkontrol bukan bukti bahwa model tersebut telah berhasil menyerang target sungguhan. 12

Seberapa dekat hasilnya dengan Mythos Preview?

Dalam pengujian ExploitBench milik Anthropic, GLM-5.3 menghasilkan eksploit yang berfungsi dalam 50 dari 410 percobaan. Claude Mythos Preview berhasil dalam 56 percobaan. Hasilnya setara dengan sekitar 12% berbanding 14% pada tes tersebut. Benchmark ini mengukur pembuatan eksploit untuk kerentanan yang sudah diketahui dalam lingkungan terkontrol—jadi skor yang berdekatan tidak membuktikan kedua model setara dalam semua tugas keamanan siber. 512

Anthropic menyebut kemampuan GLM-5.3 membuat eksploit end-to-end sebagai kemajuan besar dibandingkan model-model sebelumnya. Dalam uji terpisah untuk eksploitasi biner, GLM-5.3 berhasil mengambil alih alur kendali secara penuh pada 4% tugas, sementara Mythos Preview mencatat 6%. Angka-angka ini menunjukkan performa kuat pada tes tertentu, bukan kesetaraan menyeluruh. 3712

Gambaran NIST lebih luas, dan lebih berhati-hati

Pusat Standar dan Inovasi AI NIST (CAISI) menyebut GLM-5.3 sebagai model berbobot terbuka paling cakap dalam keamanan siber yang pernah dinilainya. Namun, berdasarkan gabungan benchmark sibernya, CAISI menempatkan model itu sekitar empat bulan di belakang model AI terdepan AS saat ini. 17

Penilaian tersebut tidak serta-merta bertentangan dengan hasil Anthropic yang mendekati Mythos. NIST membandingkan GLM-5.3 pada sejumlah benchmark yang lebih luas, sedangkan perbandingan utama Anthropic berfokus pada satu tes tertentu dan Claude Mythos Preview. Cakupan tes dan kelompok pembanding yang berbeda dapat menghasilkan kesimpulan yang berbeda, tetapi tetap sejalan. 1217

Pengaman mudah dilewati dalam simulasi

Anthropic melaporkan bahwa teknik sederhana berhasil melewati pengaman GLM-5.3 dalam 64% hingga 100% pengujian simulasi mereka. Persentase itu merujuk pada hasil dari prompt dan metode yang diuji—bukan peluang seorang penyerang berhasil menjalankan operasi di dunia nyata. 12

Laporan tersebut juga mengangkat risiko tersendiri dari model berbobot terbuka: orang yang memiliki akses ke bobot model dapat mengubah perilaku penolakannya, bukan sekadar mencoba menyiasatinya lewat prompt. Ringkasan sekunder atas eksperimen itu menyebut biaya komputasi sekitar US$4.400, sementara tim berpengalaman diperkirakan dapat menghapus pengaman dengan biaya sekitar US$1.200. Keduanya merupakan perkiraan dengan gambaran upaya yang berbeda, bukan harga tetap atau ukuran seberapa sering pelaku sungguhan akan berhasil. 1225

Demonstrasi yang dilaporkan bukan serangan langsung

Dalam satu eksperimen yang dilaporkan, seorang peneliti menggunakan GLM-5.3-Flash—versi lebih kecil dari model tersebut—untuk menyusun rangkaian eksploit bagi dua kerentanan yang sudah diungkapkan. Menurut laporan itu, pekerjaan tersebut membutuhkan sekitar 20 menit perhatian manusia, delapan jam kerja model, dan biaya API sebesar US$20,40. Salah satu celahnya adalah kerentanan di Chrome; peneliti memberikan informasi publik tentang kedua celah yang sudah diketahui itu. Demonstrasi ini menunjukkan bahwa model dapat membantu menyusun rangkaian eksploit dalam pengujian, bukan bahwa korban nyata berhasil dibobol. 6

Pembedaan ini penting. Kemampuan menghasilkan eksploit dalam kondisi uji dapat menjadi peringatan tentang potensi penyalahgunaan, tetapi berbeda dari bukti bahwa serangan telah terjadi di dunia nyata. Laporan yang tersedia di sini tidak menunjukkan bahwa GLM-5.3 digunakan untuk membobol target sungguhan. 56

Perdebatan tentang model berbobot terbuka

Kekhawatiran Anthropic adalah kemampuan membuat eksploit yang tersedia secara luas dapat dimanfaatkan penyerang maupun pihak yang bertahan. Perusahaan itu juga berpendapat bahwa tim pertahanan perlu mendapat akses ke model canggih agar dapat menemukan dan memperbaiki kerentanan. 112

Model berbobot terbuka membawa pertukaran kepentingan yang rumit: bobotnya memungkinkan peneliti independen dan tim pertahanan menggunakan model, tetapi juga memberi pengguna keleluasaan lebih besar untuk menjalankan atau mengubahnya di luar kendali pengembang. Hasil benchmark dan uji pengaman memberi bahan untuk perdebatan tersebut, tetapi tidak dengan sendirinya membuktikan bahwa membatasi akses akan membuat keamanan siber lebih baik secara keseluruhan. 412

Kesimpulan paling kuat dari temuan ini lebih terbatas: dalam evaluasi Anthropic, GLM-5.3 mendekati Mythos Preview pada satu benchmark eksploitasi, sementara pengamannya rentan terhadap metode bypass yang diuji. Penilaian NIST yang lebih luas tetap menempatkannya di belakang model AI terdepan AS saat ini, dan demonstrasi yang dilaporkan bukan serangan langsung. 1217