Hvad er GLM-5.3-FlashX, og hvor meget hurtigere er den?

GLM-5.3-FlashX er Zhipu AI’s hurtigere måde at tilbyde GLM-5.3-Flash via et API – en grænseflade, som udviklere kan bruge til at bygge modellen ind i deres tjenester. Den underliggende Flash-model er udgivet med åbne modelvægte. Zhipu beskriver derimod FlashX som en forbedring af hastighed og modeldrift, ikke som en særskilt dokumenteret arkitektur eller en ny udgivelse med åbne modelvægte. 14

Hvad er forskellen på Flash og FlashX?

GLM-5.3-Flash er en multimodal mixture-of-experts-model: Den kan arbejde med flere typer input og aktiverer kun en del af sine parametre ad gangen. Den beskrives med 320 milliarder parametre i alt, 18 milliarder aktive parametre og et oplyst kontekstvindue på 1 million tokens – altså den mængde input, modellen kan have med i én sammenhæng. 17

For FlashX reklamerer Zhipu med op til 200 genererede tokens i sekundet. Det er en oplyst maksimal hastighed, ikke dokumentation for, at FlashX er tilsvarende meget hurtigere end Flash i en sammenlignelig test. Den siger heller ikke i sig selv noget om svartid eller stabilitet, når mange bruger tjenesten samtidig. 14

Hvad siger Zhipu om driften bag hastigheden?

Zhipu oplyser, at produktionstrafikken til Flash kører på mere end 100.000 kinesisk fremstillede AI-acceleratorer. Ifølge selskabet hjalp en GLM-5.3-drevet Infra Agent – en AI-agent til arbejde med den tekniske infrastruktur – med at finde flaskehalse, ændre kode og optimere systemet, der leverer modellens svar. Det rapporterede arbejde omfatter blandt andet en flaskehals ved samtidige overførsler af KV-data og en forbedring af en beregningskerne i svarproduktionen. 56

Selskabet knytter indsatsen til en 3,2 gange højere gennemstrømning fra systemets oprindelige niveau under en udrulning på under to uger. Gennemstrømning handler her om, hvor meget det samlede system kan behandle – ikke om, hvor mange tokens én bruger får i sekundet. Tallet bør derfor ikke forveksles med FlashX’ annoncerede maksimum på 200 tokens i sekundet. 1361

Lavere driftsomkostning er ikke det samme som lavere API-pris

Zhipu hævder, at udnyttelsen af hardwaren og omkostningen ved at levere hvert token er på niveau med udbredte systemer baseret på Nvidias GPU’er. Den sammenligning er ikke fastslået gennem en uafhængig undersøgelse på ens vilkår i de citerede beskrivelser. 76

For kunder er listeprisen en anden størrelse: FlashX er angivet til 0,37 dollar pr. million inputtokens og 1,25 dollar pr. million outputtokens, mens Flash koster 0,15 dollar og 0,50 dollar for de samme mængder. Outputprisen for FlashX er dermed 2,5 gange så høj. En påstand om effektiv drift betyder altså ikke, at den hurtigere API-tjeneste er billigere at købe. 45

Det åbne spørgsmål er, hvordan påstandene holder i uafhængige målinger: Kan FlashX fastholde hastigheden på 200 tokens i sekundet under belastning, og hvordan ser svartid og stabilitet ud? Der mangler også selvstændig efterprøvning af antallet af acceleratorer og omfanget af produktionstrafikken, Infra Agentens bidrag i forhold til menneskelige ingeniører, grundlaget for forbedringen på 3,2 gange og sammenligningen af omkostninger med Nvidia-baseret drift. De tilgængelige beskrivelser gengiver i vidt omfang Zhipus egne tal. 156