| Referansepunkt | GLM-5.3 | GLM-5.2 (forrige generasjon) |
|---|---|---|
| Terminal-Bench 3.0 | 28,3 | 4,6 |
| DeepSWE v1.1 | 66,9 | 46,2 |
| Agents' Last Exam (CLI) | 28,5 | 23,8 |
| Z.ai Internal Code Bench | ~50% forbedring | grunnlinje |
Merk: Mythos 5 scorer 80,3% på SWE-bench Pro (agentisk koding), men direkte sammenligninger på disse spesifikke referansepunktene er ikke tilgjengelige på tvers av begge modellene . Alle GLM-5.3s forbedringer kom kun fra utvidet ettertrening – basismodellen på 743B parametere ble ikke trent på nytt .
GLM-5.3 hevder et smalt forsprang foran Mythos 5 på sårbarhetsdeteksjon (84,5% mot 83,8% på CyberGym), men ligger betydelig etter på utnyttelse (54,4% mot 78,0% på ExploitBench). Utgivelsen av åpne vekter er forsinket for sikkerhetsgjennomgang, og forgjengeren GLM-5.2 ble vurdert til å ha nesten null avvisning av cyberangrepsinstruksjoner. Mythos 5 forblir langt mer begrenset – aldri offentlig tilgjengelig, begrenset til omtrent 200 vurderte partnere – men også langt mer dyktig på den farligste offensive oppgaven: å generere fungerende utnyttelseskode. Den bredere implikasjonen er at åpne modeller raskt tette kapasitetsgapet til frontlinjebegrensede modeller på cyberoppgaver, samtidig som sikkerhetstiltakene forblir betydelig svakere. Kinesisk regulatorisk usikkerhet rundt eksport av topp KI-modeller legger enda et lag med kompleksitet til hvorvidt GLM-5.3s vekter noen gang vil være så fritt tilgjengelige som Z.ais markedsføring antyder.
| Referansepunkt | GLM-5.3 | GLM-5.2 (forrige generasjon) |
|---|---|---|
| Terminal-Bench 3.0 | 28,3 | 4,6 |
| DeepSWE v1.1 | 66,9 | 46,2 |
| Agents' Last Exam (CLI) | 28,5 | 23,8 |
| Z.ai Internal Code Bench | ~50% forbedring | grunnlinje |
Merk: Mythos 5 scorer 80,3% på SWE-bench Pro (agentisk koding), men direkte sammenligninger på disse spesifikke referansepunktene er ikke tilgjengelige på tvers av begge modellene . Alle GLM-5.3s forbedringer kom kun fra utvidet ettertrening – basismodellen på 743B parametere ble ikke trent på nytt .
GLM-5.3 hevder et smalt forsprang foran Mythos 5 på sårbarhetsdeteksjon (84,5% mot 83,8% på CyberGym), men ligger betydelig etter på utnyttelse (54,4% mot 78,0% på ExploitBench). Utgivelsen av åpne vekter er forsinket for sikkerhetsgjennomgang, og forgjengeren GLM-5.2 ble vurdert til å ha nesten null avvisning av cyberangrepsinstruksjoner. Mythos 5 forblir langt mer begrenset – aldri offentlig tilgjengelig, begrenset til omtrent 200 vurderte partnere – men også langt mer dyktig på den farligste offensive oppgaven: å generere fungerende utnyttelseskode. Den bredere implikasjonen er at åpne modeller raskt tette kapasitetsgapet til frontlinjebegrensede modeller på cyberoppgaver, samtidig som sikkerhetstiltakene forblir betydelig svakere. Kinesisk regulatorisk usikkerhet rundt eksport av topp KI-modeller legger enda et lag med kompleksitet til hvorvidt GLM-5.3s vekter noen gang vil være så fritt tilgjengelige som Z.ais markedsføring antyder.