GLM-5.3 vs Mythos 5: Duet AI Keamanan Siber yang Memanas, Deteksi Unggul Tapi Eksploitasi Tertinggal

Deteksi Kerentanan: Keunggulan Sementara GLM-5.3?

• CyberGym (Identifikasi & Validasi Kerentanan White-box): GLM-5.3 berhasil mencetak skor state-of-the-art 84,5%—lebih tinggi dari Mythos 5 (83,8%) dan GPT-5.6 Sol (83,6%) . Uji ini mengukur kemampuan model untuk menemukan celah keamanan nyata dari kode sumber.
• Volume Temuan Dunia Nyata: Selama post-training, GLM-5.3 secara otomatis mengidentifikasi 2.436 celah keamanan dunia nyata yang belum pernah diungkap sebelumnya. Z.ai menyebut kemampuan ini "tumbuh lebih cepat dari perkiraan" .

Kemampuan Eksploitasi: Celah Besar yang Perlu Dicatat

• ExploitBench (Analisis Akar Masalah & Pembuatan Exploit): Inilah titik lemah GLM-5.3. Dengan skor 54,4%, model ini memang naik dua kali lipat dibanding pendahulunya (GLM-5.2: 24,4%), tapi masih sangat jauh di bawah Mythos 5 (78,0%) . Perbedaan 23,6 poin persentase ini menunjukkan bahwa Mythos 5 secara substansial lebih baik dalam tugas ofensif paling berbahaya: menghasilkan exploit yang benar-benar berfungsi .
• ExploitGym (Tugas Eksploitasi dalam 2 Jam): GLM-5.3 berhasil menyelesaikan 105 tugas, lompatan besar dari versi sebelumnya yang hanya 29 tugas . Namun, data Mythos 5 untuk metrik spesifik ini belum dipublikasikan secara beriringan, jadi belum bisa dibandingkan langsung.

Benchmark Coding & Tugas Agen Lainnya

Catatan: Semua peningkatan GLM-5.3 berasal dari post-training yang diperluas. Base model 743B yang mendasarinya tidak dilatih ulang . Tidak ada data Mythos 5 yang sebanding pada benchmark ini .

Dua Pendekatan Keamanan yang Bertolak Belakang

Pendekatan Z.ai dan Anthropic soal keamanan sangat berbeda:

• Pendekatan Z.ai (Open-Source dengan Catatan):
  • Perilisan Tertunda: GLM-5.3 tersedia lewat API dan paket coding, tapi bobot model (open weights) yang bisa diunduh ditunda setidaknya dua minggu untuk menjalani safety review . Ini berbeda dengan GLM-5.2 yang dirilis penuh pada 16 Juni 2026 .
  • Masalah Keamanan Versi Sebelumnya: Evaluasi CAISI (NIST) pada Juli 2026 menemukan pengaman GLM-5.2 "campuran"—membantu dalam pengembangan exploit siber dan lemah menolak instruksi berisiko tinggi . Sebuah laporan SaferAI bahkan menyebut GLM-5.2 menolak 0% instruksi siber berisiko tinggi dan memiliki tingkat reproduksi kerentanan 76% .
• Pendekatan Anthropic (Sangat Terbatas & Vetted):
  • Tidak Pernah Publik: Mythos 5 tidak pernah dirilis untuk publik. Aksesnya hanya untuk sekitar 200 organisasi terverifikasi (termasuk pemerintah AS) melalui Project Glasswing .
  • Varian 'Aman': Anthropic bahkan membuat varian terkuras bernama "Fable 5" untuk penggunaan umum, yang nilainya 0% untuk tugas siber ofensif .

Konteks Industri dan Regulasi di China

• Tekanan Regulasi China: Pada Juli 2026, otoritas China mengadakan pertemuan dengan perusahaan AI top untuk membahas potensi pembatasan akses ke luar negeri untuk model AI tercanggih mereka, termasuk yang belum dirilis . Jika aturan ini diterapkan, masa depan model open-weight seperti GLM-5.3 bisa menjadi tidak menentu.
• Daya Tarik Pengembang Global: Meski ada kekhawatiran, Z.ai melaporkan adopsi yang meningkat di kalangan pengembang Barat, dan GLM-5.3 perlahan diakui sebagai model open-source yang kompetitif .
• Kesenjangan Keamanan: TechCrunch melaporkan pada Agustus 2026 bahwa model open-weight seperti GLM-5.2 mulai mengejar ketertinggalan dari laboratorium frontier dalam hal kemampuan siber dan bio, tapi "kesenjangan keamanan tetap ada"—model-model ini memiliki mekanisme penolakan yang jauh lebih lemah dibandingkan model terbatas .

Poin Penting dan Kesimpulan

1. Semua Angka Ini Belum Diveifikasi Independen. Skor CyberGym dan ExploitBench GLM-5.3 berasal dari metodologi pengujian Z.ai sendiri, bukan audit pihak ketiga .
2. Skor Mythos 5 Juga Mungkin Konservatif. Skor 78,0% di ExploitBench dan 80,3% di SWE-bench Pro juga dilaporkan oleh Anthropic sendiri .
3. Kesenjangan ExploitBench Sangat Besar. Selisih 23,6 poin persentase menunjukkan Mythos 5 secara signifikan lebih baik dalam kemampuan ofensif yang paling berbahaya—menghasilkan exploit yang berfungsi dari analisis akar masalah .
4. Status Open-weight Masih Menggantung. GLM-5.3 belum sepenuhnya open-weight; unduhan diblokir sementara menunggu pengamanan. Jika bobot ini tidak pernah dirilis ke publik, perbedaan "open-source" dengan Mythos 5 akan mengecil drastis .

Intinya: GLM-5.3 unggul tipis atas Mythos 5 dalam deteksi kerentanan (84,5% vs 83,8% di CyberGym), tetapi tertinggal sangat signifikan dalam eksploitasi (54,4% vs 78,0% di ExploitBench). Rilis open-weight-nya ditunda untuk safety review, sementara pendahulunya (GLM-5.2) dinilai memiliki tingkat penolakan mendekati nol terhadap instruksi serangan siber. Sebaliknya, Mythos 5 tetap sangat terbatas—tidak pernah tersedia untuk publik dan hanya untuk ~200 mitra terverifikasi—tapi justru lebih canggih dalam tugas ofensif paling berbahaya. Implikasinya jelas: model open-weight menutup celah kemampuan dengan model frontier yang dibatasi di bidang siber, namun pengamanan tetap lemah. Ketidakpastian regulasi China soal ekspor model AI top juga menambah kerumitan apakah bobot GLM-5.3 akan benar-benar bebas seperti yang dipasarkan Z.ai .