GLM-5.3 kom bara timmar efter ”sooooooon” – stora kliv inom kodning och cybersäkerhet

Tang Jies utdragna ”sooooooon” visade sig vara ovanligt bokstavligt. Bara timmar efter svaret rapporterades Zhipu ha släppt GLM-5.3 – en modell som framför allt är utvecklad för programmering, AI-agenter och cybersäkerhet. 12

Det intressanta ligger dock inte bara i den snabba lanseringen. GLM-5.3 bygger enligt Zhipu vidare på ungefär samma basmodell på 743 miljarder parametrar som GLM-5.2. De rapporterade förbättringarna ska i stället främst komma från mer omfattande efterträning, alltså träning som sker efter den ursprungliga modellträningen. 1420

Mer förmåga ur samma modellbas

GLM-5.3 lanseras som ett exempel på hur efterträning kan ge stora prestandavinster utan att modellen först måste göras större. Det är en anmärkningsvärd strategi i en bransch där nya resultat ofta kopplas till fler parametrar eller en helt ny förtränad modell.

Zhipus jämförelser visar särskilt stora framsteg på krävande uppgifter där modellen måste använda verktyg, arbeta i en terminal och lösa problem i flera steg:

• SWE-Marathon: 19,4 till 42,5
• FrontierSWE: 67,5 till 78,1
• Terminal-Bench 3.0: 4,6 till 28,3
• DeepSWE v1.1: 46,2 till 66,9

Siffrorna kommer från Zhipus publicerade jämförelser och sekundära analyser av resultaten. 1367

Resultatet i Terminal-Bench är särskilt iögonfallande räknat i procentenheter. En stor ökning från en låg utgångsnivå betyder dock inte automatiskt att modellen är bäst på alla typer av programvaruutveckling. I SWE-Marathon låg det rapporterade resultatet 42,5 exempelvis fortfarande under Kimi K3 på 48,1 och Opus 4.8 på 48,8. 69

CyberGym blev den stora rubriken

Det mest uppmärksammade resultatet var 84,5 i CyberGym, ett test som fokuserar på att hitta och validera sårbarheter i källkod. I Zhipus jämförelse låg GLM-5.3 precis före Mythos 5 på 83,8 och GPT-5.6 Sol på 83,6. 256

CyberGym handlar inte bara om att föreslå säkrare kod. Uppgiften innebär enligt rapporteringen att modellen ska identifiera svagheter, konstruera angrepp och kontrollera deras effekter. Det ligger närmare sårbarhetsjakt och resonemang kring kompletta exploateringskedjor än vanlig kodkomplettering. 1217

Det är också förklaringen till att resultatet fick uppmärksamhet i cybersäkerhetsmedier. The Register återgav Zhipus påstående att förbättringen inte stannade vid att upptäcka enskilda fel, utan även omfattade resonemang över flera steg i en exploateringskedja. 17

Påståendet att modellen är ”ledande” behöver samtidigt sättas i perspektiv. De tillgängliga jämförelserna är i huvudsak leverantörsrapporterade, och någon omfattande oberoende replikering finns ännu inte. 246

Företaget uppger att modellen testats på riktig kod

Utöver CyberGym uppgav Zhipu att man samarbetat med säkerhetsteam för att testa modeller mot verkliga kodbaser. Företagets rapporterade sammanställning innehöll 2 436 säkerhetsfynd i 269 projekt med öppen källkod, varav 1 097 bedömdes som kritiska eller allvarliga. Rapporter uppgav också att det äldsta fyndet gick tillbaka till 1981 och att sårbarheterna i genomsnitt hade förblivit oupptäckta i 26,6 år. 2131

Siffrorna visar vilken typ av säkerhetsarbete Zhipu vill förknippa med GLM-5.3, men de ska inte läsas som oberoende granskade mätningar. Den tillgängliga rapporteringen tillskriver sammanställningen Zhipu, och det bredare benchmarkunderlaget bygger fortfarande till stor del på uppgifter från företaget självt.

Siktar på långvariga AI-agenter

Zhipus lansering handlar inte bara om en modell som skriver kodstycken. GLM-5.3 marknadsförs för långvariga AI-agenter som kan använda verktyg, arbeta i terminaler och genomföra tekniska uppgifter i flera steg.

De rapporterade resultaten omfattar 73,0 i Toolathlon Verified, upp från 59,9 för GLM-5.2, samt 48,2 i AutomationBench, upp från 26,2. Andra publicerade jämförelser anger 28,5 i Agents’ Last Exam. 1711

Det pekar mot en praktisk skillnad: modellens tänkta styrka är inte enbart att skapa ett trovärdigt kodexempel, utan att utföra en hel följd av handlingar i ett kodförråd, en terminal eller en verktygsmiljö. Om det fungerar tillförlitligt i produktion beror dock även på verktygsbehörigheter, testtäckning, mänsklig granskning och hur ofta modellen misslyckas i en viss kodbas.

Vad lanseringen faktiskt visar

Det starkaste underlaget stöder en mer avgränsad slutsats än att ”GLM-5.3 slår alla ledande modeller”. Zhipus resultat visar ett betydande rapporterat lyft jämfört med GLM-5.2 på flera kodnings- och agentbenchmark, samt ett ledande CyberGym-resultat i de jämförelsetabeller som Zhipu publicerat och andra medier återgett. 256

Resultaten visar däremot inte att GLM-5.3 är överlägsen i alla programmerings-, resonemangs-, säkerhets- eller allmänna uppgifter. Konkurrerande modeller låg fortfarande före på enskilda kodningstest, och resultaten har ännu inte reproducerats i stor skala av oberoende utvärderare. 69

Den viktigaste lärdomen kan därför vara metodmässig. GLM-5.3 presenterar omfattande efterträning som ett sätt att frigöra specialiserad förmåga ur en befintlig stor modellbas. Om oberoende tester bekräftar lyften kan investeringar i efterträning – och noggrann utvärdering på verkliga arbetsflöden inom mjukvara och säkerhet – bli minst lika betydelsefulla som jämförelser av antalet parametrar.