Tang Jies udstrakte “sooooooon” viste sig at være mere bogstaveligt end forventet. Ifølge rapporterne lancerede Zhipu GLM-5.3 kun få timer efter svaret fra selskabets chefvidenskabsmand.
12
Det opsigtsvækkende var dog ikke kun timingen. GLM-5.3 blev præsenteret som en model målrettet kodning, AI-agenter, der kan arbejde selvstændigt med værktøjer, og cybersikkerhed. Den tekniske pointe er, at modellen bygger videre på omtrent den samme base på 743 milliarder parametre som GLM-5.2. Zhipu tilskriver i stedet de rapporterede fremskridt en mere omfattende eftertræning – altså træning efter den oprindelige grundmodel er færdig.
1
4
20
Mere ud af den samme grundmodel
GLM-5.3-lanceringen gjorde eftertræning til historiens centrale omdrejningspunkt. I en branche, hvor forbedringer ofte forbindes med større modeller eller en helt ny prætræning, er det en bemærkelsesværdig strategi.
Zhipus egne sammenligninger viser især fremgang på krævende opgaver, hvor modellen skal bruge terminaler og værktøjer over længere tid:
- SWE-Marathon: 19,4 til 42,5
- FrontierSWE: 67,5 til 78,1
- Terminal-Bench 3.0: 4,6 til 28,3
- DeepSWE v1.1: 46,2 til 66,9
Tallene stammer fra Zhipus offentliggjorte sammenligninger og efterfølgende analyser af resultaterne.
1
3
6
7
Stigningen på Terminal-Bench er særlig markant målt i procentpoint. Men et stort spring fra et lavt udgangspunkt er ikke i sig selv bevis på, at modellen er bedst til alle former for softwareudvikling. På SWE-Marathon lå den rapporterede score på 42,5 eksempelvis stadig under Kimi K3 med 48,1 og Opus 4.8 med 48,8 i den viste sammenligning.
6
9
CyberGym blev lanceringens store overskrift
Det mest opsigtsvækkende resultat var en score på 84,5 på CyberGym – en test af, hvor godt en model kan finde og validere sårbarheder i kildekode. I Zhipus sammenligning lå resultatet lige over Mythos 5 på 83,8 og GPT-5.6 Sol på 83,6.
2
5
6
CyberGym handler ikke blot om at foreslå mere sikker kode. Den rapporterede opgave indebærer at identificere svagheder, konstruere angreb og kontrollere deres effekt. Det ligger tættere på sårbarhedsjagt og analyse af komplette angrebskæder end på almindelig kodegenerering.
12
17
Det er også forklaringen på, at resultatet fik opmærksomhed i cybersikkerhedsmedier. The Register gengav Zhipus påstand om, at forbedringen ikke kun gjaldt isolerede fejl, men også modellens evne til at ræsonnere gennem flere trin i en udnyttelseskæde.
17
Påstanden om at være “førende” skal dog ses i den rette sammenhæng. De tilgængelige benchmarkresultater er primært rapporteret af leverandøren selv, og der foreligger endnu ikke en omfattende, uafhængig gentagelse af testene.
2
4
6
Selskabet hævder også at have fundet fejl i rigtig kode
Ud over CyberGym oplyste Zhipu angiveligt, at selskabet havde samarbejdet med sikkerhedsteams om at teste modellerne på virkelige kodebaser. Zhipus opgørelse omfattede 2.436 sikkerhedsproblemer i 269 open source-projekter, herunder 1.097 problemer klassificeret som kritiske eller alvorlige. Rapporter om opgørelsen sagde desuden, at den ældste sårbarhed kunne føres tilbage til 1981, og at fejlene i gennemsnit havde været uopdaget i 26,6 år.
21
31
Tallene siger noget om den type sikkerhedsarbejdsgang, Zhipu ønsker at forbinde med GLM-5.3. De bør dog ikke læses som uafhængigt reviderede målinger. Opgørelsen er tilskrevet Zhipu, og den bredere dokumentation bygger fortsat i høj grad på virksomhedens egne oplysninger.
Modellen er tænkt som en agent – ikke kun som en chatbot
Zhipus præsentation handlede ikke kun om at få modellen til at skrive kodeudsnit. GLM-5.3 blev markedsført til længerevarende agentopgaver, hvor modellen kan bruge værktøjer, arbejde i en terminal og gennemføre softwareopgaver i flere trin.
De rapporterede resultater omfattede 73,0 på Toolathlon Verified, mod 59,9 for GLM-5.2, og 48,2 på AutomationBench, mod 26,2.
1
7 Andre offentliggjorte sammenligninger angav 28,5 på Agents’ Last Exam.
11
Det peger på en praktisk forskel: Den tilsigtede fordel er ikke kun at kunne skrive et plausibelt kodestykke, men at kunne udføre en række handlinger på tværs af et kodearkiv, en terminal eller et værktøjsmiljø.
Om det fungerer stabilt i produktion, afhænger dog stadig af blandt andet hvilke tilladelser modellen får, hvor god testdækningen er, hvordan kode bliver gennemgået, og hvor ofte modellen fejler på den konkrete kodebase.
Hvad resultaterne viser – og ikke viser
Den stærkeste konklusion er mere begrænset end, at GLM-5.3 skulle slå alle førende modeller. Zhipus resultater peger på et betydeligt rapporteret spring fra GLM-5.2 på flere kodnings- og agentbenchmarks samt en førende CyberGym-score i de sammenligningstabeller, Zhipu offentliggjorde, og som efterfølgende medier gengav.
2
5
6
Resultaterne dokumenterer ikke, at GLM-5.3 konsekvent er bedre på alle programmerings-, ræsonnements-, sikkerheds- eller generelle opgaver. Konkurrerende modeller lå fortsat foran på enkelte kodningstests, og resultaterne er endnu ikke blevet testet bredt af uafhængige evaluatorer.
6
9
Den vigtigste pointe kan derfor være metodisk: GLM-5.3 er et eksempel på, hvordan kraftig eftertræning kan forsøge at frigøre specialiserede evner fra en eksisterende stor grundmodel. Hvis uafhængige tests bekræfter fremskridtene, kan investeringer i eftertræning og omhyggelig evaluering på virkelige software- og sikkerhedsopgaver blive mindst lige så vigtige som kampen om flest parametre.