GLM-5.3 satser på AI-agenter for koding – med 743 milliarder parametere

• Terminal-Bench 3.0: 28,3 for GLM-5.3, mot 4,6 for GLM-5.2.
• DeepSWE 1.1: 66,9, mot 46,2 for GLM-5.2.
• Agents’ Last Exam (CLI): 28,5, mot 23,8 for den forrige modellen.

Terminal-Bench 3.0 er særlig relevant for påstanden om agentbasert koding. Testen måler programvarearbeid som innebærer bruk av terminal og kommandolinje, ikke bare statiske svar. DeepSWE 1.1 er rettet mot programvareutviklingsoppgaver og kan derfor si noe om fremgang i mer komplette utviklingsprosesser.

Zhipu hevder at resultatet på 28,3 i Terminal-Bench 3.0 var det høyeste blant åpne modeller da GLM-5.3 ble lansert, foran Moonshot AIs Kimi K3. Dette er imidlertid en rangering rapportert av selskapet selv. Sammenligninger bør derfor leses i lys av testversjon, instruksjoner og betingelsene som ble brukt for de ulike modellene.

Fra kodeforslag til programvareagenter

Retningen bak GLM-5.3 er et system som skal kunne gjøre mer enn å foreslå kode. Zhipu presenterer modellen som i stand til å bruke programvare og verktøy, samt fullføre lengre handlingssekvenser med mindre menneskelig oppfølging.

Forskjellen er i praksis mellom en kodeassistent som svarer på et avgrenset spørsmål, og en agent som kan undersøke et kodearkiv, kjøre kommandoer, finne årsaken til feil, endre filer og fortsette mot et bestemt mål. Resultatene i Terminal-Bench og DeepSWE passer med denne retningen, men en god benchmarkscore er ikke i seg selv bevis på at en agent vil fungere stabilt i ukjente produksjonsmiljøer.

Zhipu sier også at GLM-5.3s kode- og agentytelse nærmer seg Claude Fable 5, samtidig som selskapet posisjonerer modellen som mer praktisk nyttig enn andre kinesiske modeller for virkelige kodeoppgaver. Dette er Zhipus egne posisjoneringer, ikke en endelig og uavhengig rangering.

Sikkerhet er en del av kapabilitetsbildet

Lanseringen knytter også GLM-5.3s bedre resonnering og verktøybruk til cybersikkerhet, blant annet muligheten til å identifisere sårbarheter i programvare. Offentlig rapporterte testdetaljer inkluderer 84,5 prosent i CyberGym på oppgaver som gjelder å oppdage og validere sårbarheter.

Dette er en typisk teknologi med tosidig bruksområde. De samme ferdighetene innen resonnering og programvarestyring som kan hjelpe forsvarere med å finne svakheter, kan også gjøre usikker autonom atferd mer alvorlig. Det tilgjengelige materialet støtter derfor at sårbarhetsoppdagelse er et rapportert bruksområde – ikke at GLM-5.3 er en pålitelig sikkerhetsrevisor eller trygt kan gjennomføre autonome angrep.

Hva betyr dette for utviklere?

Det viktigste signalet fra GLM-5.3 er ikke bare tallet på parametere. Det er vektleggingen av ettertrening og tester som undersøker om en modell kan holde en programvareoppgave gående over mange trinn.

For utviklere som vurderer modellen, er disse spørsmålene mer nyttige enn en enkelt topplassering på en resultatliste:

1. Kan modellen fullføre oppgaver fra start til slutt? Test endringer i kodearkiv, feilsøking og arbeidsflyter på kommandolinjen – ikke bare isolert kodegenerering.
2. Hvor mye oppfølging trenger den? Mål hvordan den håndterer mislykkede kommandoer, uklare krav og feil ved verktøybruk.
3. Kan resultatene gjenskapes? Kjør testene på nytt med dokumenterte instrukser og sammenlign modeller under samme tilgangsbetingelser.
4. Hvor går sikkerhetsgrensene? Test kjøring av kode, håndtering av hemmeligheter og sikkerhetsrelaterte forespørsler i et kontrollert miljø.
5. Hva betyr «åpne modellvekter» i praksis? Sjekk tilgjengelighet, lisens og betingelser før dere planlegger egen drift eller tilpasning. Rapporteringen om tilgangen ved lansering var ikke helt entydig.

Konklusjonen

GLM-5.3 er en modell med 743 milliarder parametere som ifølge Zhipu AI henter mye av forbedringen sin fra ettertrening, ikke fra en større grunnmodell. Hoppet fra 4,6 til 28,3 i Terminal-Bench 3.0 og fra 46,2 til 66,9 i DeepSWE 1.1 gjør modellens viktigste ambisjon tydelig: mer kapable kodeagenter som kan håndtere lengre og mer sammensatte programvareoppgaver.

Resultatene er sterke nok til å fortjene nærmere testing, særlig for utviklere som vurderer åpne modeller til koding og agentbaserte arbeidsflyter. Men tallene er fortsatt leverandørrapporterte påstander. Avstanden mellom en imponerende benchmarkscore og en driftssikker autonom agent må fortsatt dokumenteres uavhengig.