Benchmark-resultater innen cybersikkerhet mot amerikanske rivaler

GLM-5.3s mest omtalte resultat er på CyberGym, en benchmark fra UC Berkeleys Responsible AI Development Initiative som tester om en modell kan identifisere og validere kjente sårbarheter i åpen kildekode . Der scorer GLM-5.3 84,5 %, marginalt foran Anthropics Mythos 5 (83,8 %) og OpenAIs GPT-5.6 Sol (83,6 %) .

Bildet endrer seg på ExploitBench, som krever at modellen ikke bare finner sårbarheter, men også viser hvordan de kan utnyttes. GLM-5.3 mer enn doblet sin egen poengsum sammenlignet med forrige versjon, fra 24,4 % til 54,4 % . Men Z.ai oppgir at Mythos 5 scorer 78 % og GPT-5.6 Sol 76,5 % på denne testen – GLM-5.3 ligger altså langt bak .

På ExploitGym, som teller hvor mange utnyttelsesoppgaver en modell fullfører innenfor et normalisert to-timers budsjett, fullfører GLM-5.3 105 oppgaver (opp fra 29 for GLM-5.2) . Innenfor et seks-timers budsjett stiger tallet til 130 .

Kilder:

Reelle sårbarheter funnet i praksis

I tillegg til benchmark-tester har GLM-5.3 blitt brukt i ekte sikkerhetstesting med imponerende resultater:

• 2 436 bekreftede sårbarheter funnet på tvers av 269 åpen kildekode-prosjekter .
• Av disse ble 1 097 klassifisert som kritiske eller alvorlige .
• Modellen fant feil i programvare som var opptil 40 år gammel .
• Kort tid etter lansering identifiserte den en alvorlig sårbarhet i Cursor, den KI-drevne kodeeditoren .

Sentrale kode- og generelle benchmarks

GLM-5.3 leverer også sterke tall på kode- og agent-benchmarks, og posisjonerer seg som en ledende åpen vekt-modell for programvareutvikling:

• Terminal-Bench 3.0: 28,3 poeng – høyest blant åpne modeller og nærmer seg Anthropics Claude Fable 5 .
• DeepSWE v1.1: Økt fra 46,2 til 66,9 .
• Z.ai intern Code Bench (maks innsats): 34,5 % (mot 23,4 % for GLM-5.2) .
• Agents' Last Exam: Førsteplass blant åpne modeller .
• World of AI Benchmark: Rangert som #6 totalt med en sammensatt poengsum på 81,3 .
• FrontierSWE: Nådde 78,1, opp fra 67,5 .
• SWE-Marathon: Doblet seg fra 19,4 til 42,5 .

Hvorfor åpne vekter forsinkes

Z.ai sier modellens evne til cybersikkerhet "vokste raskere enn forventet" under opptreningen . Grunnmodellens 740 milliarder parametere ble ikke trent på nytt – alle forbedringene kom fra post-trening . Ettersom evnen var en uventet oppdagelse, holder selskapet tilbake den åpne utgivelsen i to uker for å styrke sikkerhetstiltak . Modellen er allerede tilgjengelig via Z.ai API og gjennom integrasjoner med ZCode, Claude Code og OpenCode .

Viktige forbehold

• Samtlige GLM-5.3 benchmark-resultater er selskapets egne tall og er ikke uavhengig verifisert .
• Forspranget på CyberGym over Mythos 5 og GPT-5.6 Sol er smalt – mindre enn ett prosentpoeng .
• På ExploitBench ligger GLM-5.3 langt bak amerikanske rivaler (54,4 % mot 78 % for Mythos 5 og 76,5 % for GPT-5.6 Sol) .
• En bredere benchmark-oversikt viser GPT-5.6 Sol på 84,5 % på CyberGym (likt med GLM-5.3) og Mythos 5 på 83,8 %, mens ExploitBench er 73,5 % for Sol og 78 % for Mythos 5 .

Benchmark-resultater innen cybersikkerhet mot amerikanske rivaler

GLM-5.3s mest omtalte resultat er på CyberGym, en benchmark fra UC Berkeleys Responsible AI Development Initiative som tester om en modell kan identifisere og validere kjente sårbarheter i åpen kildekode . Der scorer GLM-5.3 84,5 %, marginalt foran Anthropics Mythos 5 (83,8 %) og OpenAIs GPT-5.6 Sol (83,6 %) .

Bildet endrer seg på ExploitBench, som krever at modellen ikke bare finner sårbarheter, men også viser hvordan de kan utnyttes. GLM-5.3 mer enn doblet sin egen poengsum sammenlignet med forrige versjon, fra 24,4 % til 54,4 % . Men Z.ai oppgir at Mythos 5 scorer 78 % og GPT-5.6 Sol 76,5 % på denne testen – GLM-5.3 ligger altså langt bak .

På ExploitGym, som teller hvor mange utnyttelsesoppgaver en modell fullfører innenfor et normalisert to-timers budsjett, fullfører GLM-5.3 105 oppgaver (opp fra 29 for GLM-5.2) . Innenfor et seks-timers budsjett stiger tallet til 130 .

Kilder:

Reelle sårbarheter funnet i praksis

I tillegg til benchmark-tester har GLM-5.3 blitt brukt i ekte sikkerhetstesting med imponerende resultater:

• 2 436 bekreftede sårbarheter funnet på tvers av 269 åpen kildekode-prosjekter .
• Av disse ble 1 097 klassifisert som kritiske eller alvorlige .
• Modellen fant feil i programvare som var opptil 40 år gammel .
• Kort tid etter lansering identifiserte den en alvorlig sårbarhet i Cursor, den KI-drevne kodeeditoren .

Sentrale kode- og generelle benchmarks

GLM-5.3 leverer også sterke tall på kode- og agent-benchmarks, og posisjonerer seg som en ledende åpen vekt-modell for programvareutvikling:

• Terminal-Bench 3.0: 28,3 poeng – høyest blant åpne modeller og nærmer seg Anthropics Claude Fable 5 .
• DeepSWE v1.1: Økt fra 46,2 til 66,9 .
• Z.ai intern Code Bench (maks innsats): 34,5 % (mot 23,4 % for GLM-5.2) .
• Agents' Last Exam: Førsteplass blant åpne modeller .
• World of AI Benchmark: Rangert som #6 totalt med en sammensatt poengsum på 81,3 .
• FrontierSWE: Nådde 78,1, opp fra 67,5 .
• SWE-Marathon: Doblet seg fra 19,4 til 42,5 .

Hvorfor åpne vekter forsinkes

Z.ai sier modellens evne til cybersikkerhet "vokste raskere enn forventet" under opptreningen . Grunnmodellens 740 milliarder parametere ble ikke trent på nytt – alle forbedringene kom fra post-trening . Ettersom evnen var en uventet oppdagelse, holder selskapet tilbake den åpne utgivelsen i to uker for å styrke sikkerhetstiltak . Modellen er allerede tilgjengelig via Z.ai API og gjennom integrasjoner med ZCode, Claude Code og OpenCode .

Viktige forbehold

• Samtlige GLM-5.3 benchmark-resultater er selskapets egne tall og er ikke uavhengig verifisert .
• Forspranget på CyberGym over Mythos 5 og GPT-5.6 Sol er smalt – mindre enn ett prosentpoeng .
• På ExploitBench ligger GLM-5.3 langt bak amerikanske rivaler (54,4 % mot 78 % for Mythos 5 og 76,5 % for GPT-5.6 Sol) .
• En bredere benchmark-oversikt viser GPT-5.6 Sol på 84,5 % på CyberGym (likt med GLM-5.3) og Mythos 5 på 83,8 %, mens ExploitBench er 73,5 % for Sol og 78 % for Mythos 5 .