Zhipus GLM-5.3-FlashX lovar högre fart – vad är faktiskt belagt?

För den som ska välja mellan modellerna är den viktigaste skillnaden hur de levereras, inte en ny redovisad modellarkitektur. GLM-5.3-Flash är Zhipu AI:s öppet publicerade basmodell. GLM-5.3-FlashX erbjuds som en snabbare version via företagets API, där utvecklare anropar en tjänst i stället för att själva köra modellen. FlashX har inte presenterats som en separat utgåva med öppna modellvikter. 14

Vad är det för modell – och hur snabb är FlashX?

Basmodellen är multimodal, det vill säga utformad för mer än en typ av indata, och använder en mixture-of-experts-arkitektur. Den har 320 miljarder parametrar totalt, varav 18 miljarder är aktiva vid användning. Zhipu anger ett kontextfönster på upp till en miljon token – ungefär modellens tillgängliga utrymme för indata i en begäran. 17

För FlashX anger Zhipu upp till 200 genererade token per sekund. Det beskriver en uppgiven topphastighet för utdata, inte hur snabbt varje användare alltid får svar. Det visar inte heller i sig hur mycket snabbare FlashX är än Flash vid likvärdiga tester och belastning. 14

Över 100 000 acceleratorer och hjälp av en AI-agent

Zhipu säger att Flash-tjänstens produktionstrafik körs på över 100 000 kinesiskt tillverkade AI-acceleratorer – kretsar avsedda att påskynda AI-beräkningar. Företaget uppger att en AI-agent kallad Infra Agent, driven av GLM-5.3, hjälpte ingenjörerna att hitta flaskhalsar, ändra kod och förbättra systemet som kör modellen. Bland de rapporterade åtgärderna finns arbete med en flaskhals när modellens tillfälliga minnesdata överförs och förbättringar av beräkningarna när nya token genereras. 67

Enligt Zhipu ökade systemets genomströmning från början till slut 3,2 gånger jämfört med dess ursprungliga nivå under en driftsättning som tog mindre än två veckor. Genomströmning handlar om hur mycket arbete tjänsten kan hantera totalt. Den siffran ska alltså inte förväxlas med FlashX uppgivna antal token per sekund för ett enskilt svar. 1315

Driftkostnad är inte samma sak som kundpris

Zhipu hävdar att både hårdvaruutnyttjandet och kostnaden för att leverera en token ligger på nivå med vanliga system baserade på Nvidias grafikprocessorer. De tillgängliga redogörelserna innehåller dock ingen oberoende jämförelse med samma mätmetod och förutsättningar. 713

API-priserna visar en annan sida av kalkylen: FlashX anges kosta 0,37 dollar per miljon token i indata och 1,25 dollar per miljon token i utdata. För Flash är motsvarande priser 0,15 respektive 0,50 dollar. Priset för genererade token är därmed 2,5 gånger högre för FlashX. En uppgift om effektiv drift betyder alltså inte automatiskt ett lägre pris för kunden. 45

Det som återstår att kontrollera oberoende är om FlashX håller 200 token per sekund över tid och under samtidig belastning, samt hur svarstider och tillförlitlighet påverkas. Även acceleratorernas antal och omfattningen av produktionstrafiken, Infra Agents bidrag jämfört med människors arbete, utgångsnivån bakom ökningen på 3,2 gånger och jämförelsen med Nvidia-system behöver verifieras. De tillgängliga redogörelserna återger huvudsakligen Zhipus egna uppgifter. 1613