GLM-5.3 kom bare timer etter «sooooooon» – og viser store løft i koding og cybersikkerhet

Tang Jies langstrakte «sooooooon» viste seg å være mer bokstavelig enn mange hadde ventet. Ifølge rapportene lanserte Zhipu GLM-5.3 bare noen timer etter svaret fra selskapets sjefsforsker. 12

Men lanseringstempoet er ikke det mest interessante ved modellen. GLM-5.3 er først og fremst utviklet for programmering, AI-agenter som kan utføre flertrinnsoppgaver, og cybersikkerhet. Det spesielle er at Zhipu hevder å ha beholdt den samme grunnmodellen på rundt 743 milliarder parametre som i GLM-5.2, mens mye av ytelsesløftet skal komme fra utvidet ettertrening. 1420

Mer ytelse fra samme grunnmodell

I stedet for å fremheve en ny og større forhåndstrent modell, presenterte Zhipu ettertrening som selve motoren bak forbedringene. Det er en interessant strategi i en bransje der fremskritt ofte kobles til flere parametre eller nye, kostbare treningsrunder.

Selskapets sammenligninger viser særlig store løft i krevende programvareoppgaver der modellen må bruke verktøy og jobbe over lengre tid:

• SWE-Marathon: 19,4 til 42,5
• FrontierSWE: 67,5 til 78,1
• Terminal-Bench 3.0: 4,6 til 28,3
• DeepSWE v1.1: 46,2 til 66,9

Tallene stammer fra Zhipus publiserte sammenligninger og sekundære analyser av resultatene. 1367

Terminal-Bench-resultatet er spesielt oppsiktsvekkende målt i prosentpoeng. Samtidig bør et stort hopp fra et lavt utgangspunkt ikke automatisk tolkes som at modellen er best på alle typer programvareutvikling. På SWE-Marathon var resultatet på 42,5 for eksempel fortsatt lavere enn de rapporterte resultatene til Kimi K3 og Opus 4.8. 69

CyberGym ble lanseringens store overskrift

Det mest oppsiktsvekkende tallet var 84,5 i CyberGym, en test som måler hvor godt en modell kan finne og bekrefte sårbarheter i kildekode. I Zhipus sammenligning lå resultatet så vidt foran Mythos 5 på 83,8 og GPT-5.6 Sol på 83,6. 256

CyberGym handler ikke bare om å foreslå sikrere kode. Oppgaven innebærer å identifisere svakheter, konstruere angrep og kontrollere at angrepene faktisk virker. Det ligger nærmere sårbarhetsjakt og analyse av komplette utnyttelseskjeder enn vanlig kodegenerering. 1217

Det forklarer hvorfor resultatet fikk oppmerksomhet i sikkerhetsmedier. The Register gjenga Zhipus påstand om at forbedringen ikke bare gjelder isolerte feil, men også modellens evne til å resonnere gjennom flere trinn i en utnyttelseskjede. 17

Påstanden om at modellen «leder», trenger likevel en viktig fotnote. De tilgjengelige sammenligningene er i hovedsak oppgitt av leverandøren, og det finnes foreløpig ingen omfattende, uavhengig replikering av resultatene. 246

Zhipu hevder å ha funnet sårbarheter i ekte kode

Ved siden av CyberGym har Zhipu opplyst at selskapet samarbeidet med sikkerhetsteam om å teste modellene mot reelle kodebaser. Selskapets oversikt skal inneholde 2 436 sikkerhetsfunn i 269 åpen kildekode-prosjekter, der 1 097 funn var klassifisert som kritiske eller høyrisiko. Rapporter sier også at det eldste funnet stammet fra 1981, og at sårbarhetene i gjennomsnitt hadde vært uoppdaget i 26,6 år. 2131

Tallene illustrerer hvilken type sikkerhetsarbeid Zhipu ønsker å knytte til GLM-5.3. De bør imidlertid ikke leses som uavhengig reviderte målinger. Opplysningene er tilskrevet Zhipu, og den øvrige dokumentasjonen av modellens sikkerhetsytelse bygger i stor grad på selskapsoppgitte resultater.

Modellen skal kunne gjøre mer enn å skrive kode

Zhipus presentasjon handlet ikke bare om en modell som produserer kodebiter. GLM-5.3 markedsføres for langvarige agentoppgaver der modellen kan bruke verktøy, operere i en terminal og gjennomføre flere steg i et utviklingsprosjekt.

Blant de rapporterte resultatene var 73,0 i Toolathlon Verified, opp fra 59,9 for GLM-5.2, og 48,2 i AutomationBench, opp fra 26,2. Andre publiserte sammenligninger oppga 28,5 i Agents’ Last Exam. 1711

Forskjellen er praktisk: Ambisjonen er ikke bare å lage et plausibelt kodeforslag, men å navigere i et prosjekt, kjøre kommandoer, bruke verktøy og fullføre en hel kjede av oppgaver. Om dette fungerer stabilt i produksjon, vil likevel avhenge av blant annet hvilke tilganger agenten får, hvor gode testene er, hvor grundig koden blir gjennomgått, og hvor ofte modellen gjør feil i den aktuelle kodebasen.

Hva lanseringen faktisk viser

Det sterkeste kunnskapsgrunnlaget støtter en mer avgrenset konklusjon enn at GLM-5.3 «slår alle» avanserte modeller. Zhipus resultater viser et betydelig rapportert løft fra GLM-5.2 på flere tester av programmering og agentoppgaver. De viser også en ledende CyberGym-score i sammenligningstabellene Zhipu publiserte, og som flere medier har gjengitt. 256

Resultatene beviser ikke at GLM-5.3 er best på all programmering, resonnering, sikkerhet eller generell tekstbehandling. Konkurrerende modeller ligger fortsatt foran på enkelte kodeoppgaver, og resultatene er ikke bredt bekreftet av uavhengige evaluatører. 69

Den viktigste lærdommen kan derfor ligge i metoden. GLM-5.3 er et eksempel på hvordan omfattende ettertrening kan brukes til å hente ut mer spesialisert kapasitet fra en eksisterende stor grunnmodell. Dersom uavhengige tester bekrefter løftene, kan investeringer i ettertrening – og grundig testing mot ekte arbeidsflyter innen programvare og sikkerhet – bli minst like viktig som rene sammenligninger av parametertall.