GLM-5.3 verscheen uren na ‘sooooooon’: Zhipu zet zwaar in op code en digitale veiligheid

De uitgerekte belofte van Tang Jie — ‘sooooooon’ — bleek opvallend letterlijk. Volgens berichtgeving bracht Zhipu GLM-5.3 al enkele uren later uit, nadat de hoofdwetenschapper van Zhipu AI op een vraag over het model had gereageerd. 12

De snelheid van de release was echter niet het enige opvallende eraan. GLM-5.3 werd gepresenteerd als een model dat in de eerste plaats is ontworpen voor programmeren, software-agents en cybersecurity. De technische twist: het model gebruikt volgens Zhipu dezelfde basis van ongeveer 743 miljard parameters als GLM-5.2. De gemelde vooruitgang zou dus vooral afkomstig zijn van uitgebreidere post-training — de extra trainingsfase waarin een model wordt afgestemd op specifieke taken — en niet van een veel grotere pretrainingrun. 1420

Meer kunnen met dezelfde basis

De release zet post-training nadrukkelijk in de schijnwerpers. In een AI-markt waarin betere prestaties vaak worden gekoppeld aan grotere modellen of nieuwe trainingsrondes, kiest Zhipu voor een andere boodschap: een bestaande grote basis kan met gerichte training aanzienlijk meer worden toegespitst op specialistisch werk.

Vooral bij moeilijke softwaretaken waarbij een model hulpmiddelen moet gebruiken, presenteerde Zhipu flinke verbeteringen ten opzichte van GLM-5.2:

• SWE-Marathon: van 19,4 naar 42,5
• FrontierSWE: van 67,5 naar 78,1
• Terminal-Bench 3.0: van 4,6 naar 28,3
• DeepSWE v1.1: van 46,2 naar 66,9

Deze cijfers komen uit door Zhipu gepubliceerde vergelijkingen en secundaire analyses van die resultaten. 1367

De sprong op Terminal-Bench 3.0 valt in absolute procentpunten bijzonder sterk op. Toch betekent een grote verbetering vanaf een lage beginscore niet automatisch dat GLM-5.3 elke softwaretaak beter uitvoert dan alle concurrenten. Op SWE-Marathon bleef de gemelde score van 42,5 bijvoorbeeld onder de resultaten van Kimi K3 en Opus 4.8. 69

CyberGym werd het grote uithangbord

De meest in het oog springende score was 84,5 op CyberGym. Deze benchmark test of een model kwetsbaarheden in broncode kan vinden en vervolgens kan valideren. In Zhipu's vergelijking kwam GLM-5.3 daarmee nipt boven Mythos 5 met 83,8 en GPT-5.6 Sol met 83,6 uit. 256

CyberGym meet dus niet simpelweg of een model veilige code kan schrijven. De taak draait volgens de beschikbare beschrijvingen om het herkennen van zwakke plekken, het opzetten van aanvallen en het controleren van het effect daarvan. Dat ligt dichter bij het opsporen van kwetsbaarheden en het redeneren over een volledige aanvalsketen dan bij gewone code-aanvulling. 1217

Dat verschil verklaart de belangstelling vanuit de cybersecuritywereld. The Register citeerde Zhipu's claim dat de vooruitgang niet alleen zichtbaar was bij het vinden van losse fouten, maar ook bij het redeneren over meerdere stappen in een exploitatieketen. 17

De term ‘toonaangevend’ vraagt wel om enige voorzichtigheid. De beschikbare benchmarkoverzichten zijn grotendeels gebaseerd op cijfers die door de leverancier zelf zijn gerapporteerd. Grootschalige, onafhankelijke reproductie van de resultaten is er nog niet. 246

Ook tests met echte codebases

Naast CyberGym zei Zhipu volgens berichtgeving dat het samen met beveiligingsteams modellen had getest op code uit de praktijk. In het door het bedrijf gepubliceerde overzicht staan 2.436 beveiligingsbevindingen in 269 open-sourceprojecten, waaronder 1.097 kwetsbaarheden met een kritieke of hoge ernst. Ook zou de oudste gevonden kwetsbaarheid teruggaan tot 1981 en zouden de problemen gemiddeld 26,6 jaar onopgemerkt zijn gebleven. 2131

Die cijfers geven een beeld van de beveiligingsworkflow waarmee Zhipu GLM-5.3 wil associëren. Ze moeten echter niet worden gelezen als onafhankelijk gecontroleerde meetgegevens. De aangeleverde berichtgeving schrijft het overzicht toe aan Zhipu en ook hier bestaat het bredere bewijs voornamelijk uit bedrijfsdisclosures.

Niet alleen code genereren, maar taken uitvoeren

Zhipu positioneerde GLM-5.3 niet als een model dat alleen losse programmeerregels produceert. De nadruk ligt op langdurig draaiende agents die hulpmiddelen kunnen gebruiken, in een terminal kunnen werken en technische opdrachten in meerdere stappen kunnen afhandelen.

De gemelde resultaten omvatten 73,0 op Toolathlon Verified, tegenover 59,9 voor GLM-5.2, en 48,2 op AutomationBench, tegenover 26,2. 17 Andere gepubliceerde vergelijkingen noemen 28,5 op Agents’ Last Exam. 11

Het praktische verschil is belangrijk: de beoogde kracht zit niet alleen in een plausibel codefragment, maar in het uitvoeren van een reeks handelingen binnen een repository, terminal of andere toolomgeving. Of dat in een echte productieomgeving ook betrouwbaar werkt, hangt nog steeds af van onder meer de ingestelde toegangsrechten, de testdekking, menselijke codebeoordeling en het foutpercentage op de specifieke codebase.

Wat de lancering wel en niet bewijst

De sterkste conclusie is beperkter dan de stelling dat GLM-5.3 elk frontiermodel verslaat. De cijfers van Zhipu wijzen op een forse gemelde vooruitgang ten opzichte van GLM-5.2 op meerdere benchmarks voor coderen en agents. Daarnaast staat GLM-5.3 in de door Zhipu gepubliceerde en in berichtgeving overgenomen vergelijking bovenaan bij CyberGym. 256

Daarmee is niet aangetoond dat GLM-5.3 op elk programmeer-, redeneer-, veiligheids- of algemeen gebruiksscenario superieur is. Op afzonderlijke codingbenchmarks bleven concurrenten voor, en onafhankelijke evaluatoren hebben de beschikbare resultaten nog niet op grote schaal gereproduceerd. 69

De bredere betekenis van GLM-5.3 zit daarom misschien minder in één kopcijfer dan in de gekozen aanpak. Zhipu presenteert opgeschaalde post-training als een manier om gespecialiseerde capaciteiten uit een bestaand groot model te halen. Als onafhankelijke tests de winst bevestigen, kunnen investeringen in post-training en zorgvuldige evaluatie met echte software- en beveiligingsworkflows minstens zo belangrijk worden als het vergelijken van parameter­aantallen.