Cybersikkerhedsbenchmarks: Sådan klarer den sig mod amerikanske rivaler

GLM-5.3's mest bemærkelsesværdige resultat er på CyberGym, en benchmark fra UC Berkeley's Responsible AI Development Initiative, der tester, om en model kan identificere og validere reelle sårbarheder ud fra white-box kildekode . Her scorer GLM-5.3 84,5 % og ligger en anelse foran både Anthropics Mythos 5 (83,8 %) og OpenAI's GPT-5.6 Sol (83,6 %) .

Billedet ændrer sig på ExploitBench, som kræver dybere ræsonnement om, hvordan en reel sårbarhed rent faktisk kan udnyttes, og som forventer et fungerende exploit. GLM-5.3 mere end fordobler sin forgængers score og stiger fra 24,4 % til 54,4 % . Z.ai rapporterer imidlertid, at Mythos 5 scorer 78 % på ExploitBench, og GPT-5.6 Sol scorer 76,5 % – hvilket efterlader GLM-5.3 langt bagefter på denne sværere test .

På ExploitGym, der måler, hvor mange exploit-opgaver en model kan gennemføre inden for et normaliseret to-timers budget, fuldfører GLM-5.3 105 opgaver (mod 29 for GLM-5.2) . Inden for et seks-timers budget stiger tallet til 130 opgaver .

Kilder:

Reel sårbarhedsdetektion i praksis

Ud over benchmarks er GLM-5.3 blevet taget i brug i virkelige sikkerhedstests med imponerende resultater:

• 2.436 bekræftede sårbarheder fundet på tværs af 269 open source-projekter, registreret i et offentligt Z.ai Security Disclosure Ledger .
• Heraf blev 1.097 klassificeret som kritiske eller af høj alvorlighed .
• Modellen fandt fejl i software, der er op til cirka 40 år gammel .
• Kort efter lanceringen identificerede den også en alvorlig sårbarhed i Cursor, den AI-drevne kodeeditor .

Vigtige kodnings- og generelle benchmarks

GLM-5.3 præsterer også stærkt på kodnings- og agent-benchmarks og positionerer sig som en førende open-weight model til softwareudviklingsopgaver:

• Terminal-Bench 3.0: scorede 28,3 – højest blandt open-weight modeller og tæt på Anthropics Claude Fable 5 .
• DeepSWE v1.1: steg fra 46,2 til 66,9 .
• Z.ai intern Code Bench (Max effort): 34,5 % (mod GLM-5.2's 23,4 %), med cirka 75.000 output tokens per opgave mod 96.000 .
• Agents' Last Exam: førsteplads blandt open-weight modeller .
• World of AI Benchmark composite: rangeret #6 samlet med en sammensat score på 81,3, lige bag Kimi K3 (81,5) og foran GPT-5.6 Terra .
• FrontierSWE: nåede 78,1, oppe fra 67,5 .
• SWE-Marathon: fordoblet fra 19,4 til 42,5 .

Hvorfor open weight-udgivelsen er forsinket

Z.ai forklarer, at modellens cybersikkerhedskapacitet "voksede hurtigere end forventet" under eftertræningen . Basismodellens 740 milliarder parametre blev ikke genoptrænet – alle forbedringer kom fra eftertræning . Da kapaciteten kom som en overraskelse, holder virksomheden open weight-udgivelsen tilbage i to uger, mens den styrker sikkerhedsforanstaltningerne . Modellen er allerede tilgængelig via Z.ai's API og gennem integrationer med ZCode, Claude Code og OpenCode .

Vigtige forbehold

• Alle GLM-5.3 benchmark-resultater er virksomhedsrapporterede og endnu ikke uafhængigt verificerede .
• Fordelen på CyberGym over Mythos 5 og GPT-5.6 Sol er snæver – mindre end et procentpoint .
• På ExploitBench halter GLM-5.3 langt bagefter sine amerikanske rivaler (54,4 % mod 78 % for Mythos 5 og 76,5 % for GPT-5.6 Sol) .
• Til sammenligning viser en bredere oversigt over cybersikkerhedsbenchmarks GPT-5.6 Sol med 84,5 % på CyberGym (på niveau med GLM-5.3) og Mythos 5 med 83,8 %, mens ExploitBench-scoren for Sol er 73,5 % og 78 % for Mythos 5 .

Cybersikkerhedsbenchmarks: Sådan klarer den sig mod amerikanske rivaler

GLM-5.3's mest bemærkelsesværdige resultat er på CyberGym, en benchmark fra UC Berkeley's Responsible AI Development Initiative, der tester, om en model kan identificere og validere reelle sårbarheder ud fra white-box kildekode . Her scorer GLM-5.3 84,5 % og ligger en anelse foran både Anthropics Mythos 5 (83,8 %) og OpenAI's GPT-5.6 Sol (83,6 %) .

Billedet ændrer sig på ExploitBench, som kræver dybere ræsonnement om, hvordan en reel sårbarhed rent faktisk kan udnyttes, og som forventer et fungerende exploit. GLM-5.3 mere end fordobler sin forgængers score og stiger fra 24,4 % til 54,4 % . Z.ai rapporterer imidlertid, at Mythos 5 scorer 78 % på ExploitBench, og GPT-5.6 Sol scorer 76,5 % – hvilket efterlader GLM-5.3 langt bagefter på denne sværere test .

På ExploitGym, der måler, hvor mange exploit-opgaver en model kan gennemføre inden for et normaliseret to-timers budget, fuldfører GLM-5.3 105 opgaver (mod 29 for GLM-5.2) . Inden for et seks-timers budget stiger tallet til 130 opgaver .

Kilder:

Reel sårbarhedsdetektion i praksis

Ud over benchmarks er GLM-5.3 blevet taget i brug i virkelige sikkerhedstests med imponerende resultater:

• 2.436 bekræftede sårbarheder fundet på tværs af 269 open source-projekter, registreret i et offentligt Z.ai Security Disclosure Ledger .
• Heraf blev 1.097 klassificeret som kritiske eller af høj alvorlighed .
• Modellen fandt fejl i software, der er op til cirka 40 år gammel .
• Kort efter lanceringen identificerede den også en alvorlig sårbarhed i Cursor, den AI-drevne kodeeditor .

Vigtige kodnings- og generelle benchmarks

GLM-5.3 præsterer også stærkt på kodnings- og agent-benchmarks og positionerer sig som en førende open-weight model til softwareudviklingsopgaver:

• Terminal-Bench 3.0: scorede 28,3 – højest blandt open-weight modeller og tæt på Anthropics Claude Fable 5 .
• DeepSWE v1.1: steg fra 46,2 til 66,9 .
• Z.ai intern Code Bench (Max effort): 34,5 % (mod GLM-5.2's 23,4 %), med cirka 75.000 output tokens per opgave mod 96.000 .
• Agents' Last Exam: førsteplads blandt open-weight modeller .
• World of AI Benchmark composite: rangeret #6 samlet med en sammensat score på 81,3, lige bag Kimi K3 (81,5) og foran GPT-5.6 Terra .
• FrontierSWE: nåede 78,1, oppe fra 67,5 .
• SWE-Marathon: fordoblet fra 19,4 til 42,5 .

Hvorfor open weight-udgivelsen er forsinket

Z.ai forklarer, at modellens cybersikkerhedskapacitet "voksede hurtigere end forventet" under eftertræningen . Basismodellens 740 milliarder parametre blev ikke genoptrænet – alle forbedringer kom fra eftertræning . Da kapaciteten kom som en overraskelse, holder virksomheden open weight-udgivelsen tilbage i to uger, mens den styrker sikkerhedsforanstaltningerne . Modellen er allerede tilgængelig via Z.ai's API og gennem integrationer med ZCode, Claude Code og OpenCode .

Vigtige forbehold

• Alle GLM-5.3 benchmark-resultater er virksomhedsrapporterede og endnu ikke uafhængigt verificerede .
• Fordelen på CyberGym over Mythos 5 og GPT-5.6 Sol er snæver – mindre end et procentpoint .
• På ExploitBench halter GLM-5.3 langt bagefter sine amerikanske rivaler (54,4 % mod 78 % for Mythos 5 og 76,5 % for GPT-5.6 Sol) .
• Til sammenligning viser en bredere oversigt over cybersikkerhedsbenchmarks GPT-5.6 Sol med 84,5 % på CyberGym (på niveau med GLM-5.3) og Mythos 5 med 83,8 %, mens ExploitBench-scoren for Sol er 73,5 % og 78 % for Mythos 5 .