Tang Jieho protáhlé „sooooooon“ se ukázalo být překvapivě přesným příslibem. Podle dostupných zpráv vydalo Zhipu model GLM-5.3 už několik hodin po odpovědi hlavního vědce společnosti.
12
Na rychlosti uvedení ale není to nejzajímavější. GLM-5.3 byl představen především jako model pro programování, autonomní softwarové agenty a kyberbezpečnost. Jeho technický příběh je neobvyklý: Zhipu ponechalo zhruba stejnou základnu o 743 miliardách parametrů jako u GLM-5.2 a uváděné zlepšení připsalo hlavně rozsáhlejšímu post-trénování, tedy dolaďování modelu po základním tréninku.
1
4
20
Větší výkon bez většího modelu
GLM-5.3 staví svou prezentaci na myšlence, že významný posun nemusí vždy vyžadovat nový a větší základní model. Podle zveřejněných srovnání se nejvýraznější zlepšení objevila u náročných úloh, při nichž model musí používat nástroje, pracovat v terminálu a provádět více kroků za sebou.
Zhipu uvádí tyto výsledky oproti GLM-5.2:
- SWE-Marathon: z 19,4 na 42,5
- FrontierSWE: ze 67,5 na 78,1
- Terminal-Bench 3.0: ze 4,6 na 28,3
- DeepSWE v1.1: ze 46,2 na 66,9
Jde o čísla z publikovaných srovnání Zhipu a sekundárních analýz těchto výsledků.
1
3
6
7
Největší skok v procentních bodech vykázal Terminal-Bench. Nízké výchozí skóre ale znamená, že výrazný relativní nárůst sám o sobě nedokazuje převahu ve všech úlohách softwarového inženýrství. Ve SWE-Marathonu například uvedených 42,5 stále zaostalo za výsledky modelů Kimi K3 a Opus 4.8.
6
9
Hlavní pozornost přitáhl CyberGym
Nejvýraznějším výsledkem GLM-5.3 je skóre 84,5 v testu CyberGym, který se zaměřuje na hledání a ověřování zranitelností ve zdrojovém kódu. V porovnání zveřejněném Zhipu je to těsně nad výsledkem Mythos 5 s 83,8 a GPT-5.6 Sol s 83,6.
2
5
6
CyberGym netestuje jen schopnost navrhnout bezpečnější kód. Úloha podle dostupných popisů zahrnuje nalezení slabiny, vytvoření útoku a ověření jeho účinků. Je tedy bližší odhalování zranitelností a uvažování v řetězci zneužití než běžnému doplňování kódu.
12
17
Právě proto výsledek zaujal média zaměřená na kyberbezpečnost. The Register citoval tvrzení Zhipu, že se model nezlepšil pouze v odhalování jednotlivých chyb, ale také v uvažování nad více kroky exploitačního řetězce.
17
Slovo „nejlepší“ je však třeba brát s rezervou. Dostupná srovnání jsou převážně založena na výsledcích uváděných samotnými výrobci a zatím chybí rozsáhlé nezávislé zopakování testů.
2
4
6
Firma uvádí i testování skutečného kódu
Zhipu vedle CyberGymu uvedlo také testování modelů na reálných open-source kódových základnách ve spolupráci s bezpečnostními týmy. Firemní přehled podle dostupných zpráv obsahuje 2 436 bezpečnostních nálezů ve 269 open-source projektech, z toho 1 097 zranitelností s kritickou nebo vysokou závažností. Nejstarší nález měl podle reportingu pocházet z roku 1981 a objevené chyby měly před odhalením přetrvávat v průměru 26,6 roku.
21
31
Tato čísla ukazují, jaký typ bezpečnostního workflow chce Zhipu s GLM-5.3 spojovat. Nelze je ale považovat za nezávisle auditované měření. Dostupné zdroje je připisují společnosti Zhipu a širší obraz výkonu modelu stále vychází z velké části z firemních oznámení.
Nejde jen o psaní kódu
Zhipu model neprezentovalo jako nástroj pro jednorázové vygenerování několika řádků kódu. Cílí na dlouho běžící agenty, kteří dokážou používat nástroje, pracovat v terminálu a dokončovat vícekrokové úkoly v repozitáři.
Podle zveřejněných srovnání dosáhl GLM-5.3 skóre 73,0 v Toolathlon Verified, oproti 59,9 u GLM-5.2, a 48,2 v AutomationBench, oproti 26,2.
1
7 Další publikované tabulky uvádějí 28,5 v Agents’ Last Exam.
11
To ukazuje praktický rozdíl mezi běžným chatbotem a agentickým modelem. Výhodou nemá být jen přesvědčivý návrh funkce, ale schopnost provést sérii akcí v repozitáři, terminálu nebo jiném nástrojovém prostředí. V reálném provozu však bude záležet také na oprávněních nástrojů, pokrytí testy, procesu kontroly a četnosti chyb na konkrétní kódové základně.
Co výsledky skutečně dokazují
Nejopatrnější závěr zní, že Zhipu podle vlastních výsledků výrazně posunulo GLM-5.3 oproti GLM-5.2 v několika programátorských a agentických benchmarcích. Zároveň model dosáhl vedoucího skóre CyberGym v porovnávacích tabulkách, které zveřejnilo Zhipu a následně citovala média.
2
5
6
Výsledky ale neprokazují, že GLM-5.3 překonává všechny špičkové modely ve všech programátorských, bezpečnostních, argumentačních nebo obecných úlohách. U některých programátorských testů zůstaly konkurenční modely napřed a dostupná čísla zatím nebyla ve velkém rozsahu ověřena nezávislými hodnotiteli.
6
9
Důležitější může být samotná metoda. GLM-5.3 prezentuje rozsáhlejší post-trénování jako způsob, jak ze stávajícího velkého modelu vytěžit specializované schopnosti. Pokud nezávislé testy tyto zisky potvrdí, investice do post-trénování a pečlivé ověřování na skutečných softwarových a bezpečnostních úlohách mohou být stejně důležité jako samotné porovnávání počtu parametrů.