Rozciągnięte przez Tanga Jie „sooooooon” okazało się wyjątkowo dosłowne. Jak wynika z relacji, Zhipu udostępniło GLM-5.3 zaledwie kilka godzin po odpowiedzi głównego naukowca firmy na pytanie o nowy model.
12
Na premierze nie chodziło jednak wyłącznie o tempo. GLM-5.3 przedstawiono jako model wyspecjalizowany w programowaniu, pracy agentów AI oraz cyberbezpieczeństwie. Jego najciekawszą cechą techniczną jest to, że zachował tę samą bazę liczącą około 743 mld parametrów co GLM-5.2. Zhipu przypisuje deklarowane wzrosty przede wszystkim rozszerzonemu post-treningowi, a nie większemu procesowi pretrainingu.
1
4
20
Więcej możliwości z tej samej bazy
Premiera GLM-5.3 ustawiła post-trening w centrum opowieści o poprawie możliwości modelu. To istotne w branży, w której wzrost wyników często łączy się z budową większych modeli albo ponownym trenowaniem całej bazy.
W opublikowanych przez Zhipu porównaniach największe skoki widać przy trudnych zadaniach programistycznych wymagających korzystania z narzędzi:
- SWE-Marathon: z 19,4 do 42,5,
- FrontierSWE: z 67,5 do 78,1,
- Terminal-Bench 3.0: z 4,6 do 28,3,
- DeepSWE v1.1: z 46,2 do 66,9.
Powyższe wartości pochodzą z porównań opublikowanych przez Zhipu oraz z analiz tych wyników przeprowadzonych przez inne serwisy.
1
3
6
7
Szczególnie efektownie wygląda wynik Terminal-Bench — zwłaszcza w ujęciu punktów procentowych. Duży wzrost z niskiego poziomu początkowego nie oznacza jednak automatycznie, że model jest najlepszy w każdym zadaniu związanym z inżynierią oprogramowania. W SWE-Marathon deklarowany wynik 42,5 wciąż był niższy od rezultatów Kimi K3 i Opus 4.8 pokazanych w zestawieniu.
6
9
CyberGym przyciągnął największą uwagę
Najgłośniejszym rezultatem GLM-5.3 okazało się 84,5 punktu w CyberGym — teście skoncentrowanym na znajdowaniu i potwierdzaniu podatności na podstawie kodu źródłowego. W porównaniu przedstawionym przez Zhipu wynik ten nieznacznie wyprzedził Mythos 5 z rezultatem 83,8 oraz GPT-5.6 Sol z wynikiem 83,6.
2
5
6
CyberGym nie sprawdza po prostu, czy model potrafi zaproponować bezpieczniejszy fragment kodu. Opisywane zadania obejmują identyfikowanie słabości, konstruowanie ataków i weryfikowanie ich skutków. Jest to bliższe wykrywaniu podatności oraz rozumowaniu o całym łańcuchu wykorzystania luki niż zwykłemu uzupełnianiu kodu.
12
17
To właśnie dlatego wynik zainteresował media zajmujące się bezpieczeństwem. „The Register” przytoczył twierdzenie Zhipu, że poprawa nie ograniczała się do znajdowania pojedynczych błędów — model miał również lepiej rozumować na kolejnych etapach łańcucha eksploatacji.
17
Słowo „lider” wymaga jednak kontekstu. Dostępne zestawienia opisują te porównania jako wyniki przedstawione przez dostawcę, a duża, niezależna replikacja testów nie jest jeszcze dostępna.
2
4
6
Testy na rzeczywistym kodzie
Poza CyberGym Zhipu miało poinformować o współpracy z zespołami bezpieczeństwa przy testowaniu modeli na rzeczywistych bazach kodu. Według firmowego zestawienia wykryto 2 436 ustaleń dotyczących bezpieczeństwa w 269 projektach open source, w tym 1 097 podatności o krytycznym lub wysokim poziomie zagrożenia. Relacje wskazywały również, że najstarsze ustalenie pochodziło z 1981 roku, a podatności pozostawały niewykryte średnio przez 26,6 roku.
21
31
Liczby te pokazują, jaki rodzaj pracy z bezpieczeństwem Zhipu chce kojarzyć z GLM-5.3. Nie należy jednak traktować ich jako niezależnie audytowanego pomiaru. Dostępne materiały przypisują zestawienie Zhipu, a szerszy obraz wyników nadal opiera się głównie na ujawnieniach firmy.
Model projektowany do pracy agentowej
Pozycjonowanie GLM-5.3 wykracza poza samo generowanie kodu. Zhipu promuje go jako narzędzie dla długotrwałych agentów, które mogą korzystać z narzędzi, operować w terminalu i realizować wieloetapowe zadania inżynierskie.
W raportowanych wynikach znalazło się 73,0 w Toolathlon Verified, wobec 59,9 dla GLM-5.2, oraz 48,2 w AutomationBench, wobec 26,2 wcześniej.
1
7 Inne opublikowane porównania podawały także 28,5 w Agents’ Last Exam.
11
W praktyce oznacza to różnicę między stworzeniem wiarygodnie wyglądającego fragmentu kodu a wykonaniem całej sekwencji działań w repozytorium, terminalu lub środowisku narzędziowym. To, czy przełoży się to na niezawodną pracę w produkcji, nadal zależy między innymi od uprawnień narzędzi, jakości testów, procesu przeglądu kodu i liczby błędów na konkretnym projekcie.
Co naprawdę wynika z premiery?
Najmocniejsze dostępne dane uzasadniają węższy wniosek niż stwierdzenie, że „GLM-5.3 pokonuje każdy model z czołówki”. Wyniki Zhipu wskazują na znaczący, deklarowany wzrost względem GLM-5.2 w kilku testach programistycznych i agentowych, a także na prowadzenie w CyberGym w tabelach opublikowanych przez Zhipu i powielanych w relacjach z premiery.
2
5
6
Nie dowodzą natomiast, że GLM-5.3 jest bezwarunkowo lepszy we wszystkich zadaniach programistycznych, związanych z rozumowaniem, bezpieczeństwem i zastosowaniami ogólnymi. Na części testów kodowania wyżej wypadały konkurencyjne modele, a dostępne wyniki nie zostały jeszcze szeroko potwierdzone przez niezależnych ewaluatorów.
6
9
Najważniejszy wniosek dotyczy więc metody. GLM-5.3 ma pokazywać, że rozbudowany post-trening może wydobyć wyspecjalizowane możliwości z istniejącej, dużej bazy modelu. Jeśli niezależne testy potwierdzą te wzrosty, inwestycje w post-trening oraz staranna ocena modeli na rzeczywistych zadaniach programistycznych i związanych z bezpieczeństwem mogą okazać się równie ważne jak porównywanie liczby parametrów.