Hva skiller GLM-5.3-FlashX fra den åpne Flash-modellen?

For utviklere er det viktigste skillet dette: GLM-5.3-FlashX er Zhipu AIs raskere API-tilbud basert på GLM-5.3-Flash, ikke en egen utgivelse med åpne modellvekter eller en ny, særskilt dokumentert arkitektur. Zhipu knytter FlashX til raskere inferens – arbeidet som gjøres når modellen lager et svar – og forbedringer i systemet som betjener forespørslene. 14

Samme grunnmodell, et raskere tjenestetilbud

GLM-5.3-Flash er en multimodal mixture-of-experts-modell. Den er oppgitt å ha 320 milliarder parametere totalt, hvorav 18 milliarder er aktive om gangen, og støtte for et kontekstvindu på opptil én million tokener. Flash-modellen er gjort tilgjengelig med åpne vekter. For FlashX annonserer Zhipu en hastighet på opptil 200 utdata-tokener per sekund. Det er en oppgitt topphastighet, ikke dokumentasjon på hvor mye raskere FlashX er enn Flash under like testforhold. 174

Hva Zhipu sier om infrastrukturen

Ifølge Zhipu håndteres produksjonstrafikken for Flash av en klynge med over 100 000 kinesiskproduserte AI-akseleratorer. Selskapet sier at en GLM-5.3-drevet Infra Agent bidro til å finne flaskehalser, endre kode og optimalisere systemet som kjører modellen. Arbeidet som omtales, omfatter blant annet en flaskehals ved samtidig overføring av KV-data og forbedringer i en beregningsrutine som brukes når modellen genererer svar. 67

Zhipu oppgir at gjennomstrømmingen fra ende til ende økte 3,2 ganger fra et opprinnelig utgangspunkt i løpet av under to uker. Gjennomstrømming betyr her hvor mye arbeid hele tjenesten kan håndtere. Det er ikke det samme målet som antall tokener én bruker får per sekund, og tallet er heller ikke i seg selv en måling av FlashXs hastighet mot grunnmodellen. 1315

Driftskostnad er ikke det samme som API-pris

Zhipu hevder at maskinvareutnyttelsen og kostnaden ved å betjene hvert token er på nivå med vanlige oppsett med Nvidia-GPU-er. Det er en påstand om selskapets drift, ikke om prisen kunden betaler. Oppgitte API-listepriser er 0,37 dollar per million inndata-tokener og 1,25 dollar per million utdata-tokener for FlashX, mot 0,15 og 0,50 dollar for Flash. FlashX koster dermed rundt 2,5 ganger så mye per utdata-token. 74

Hva er fortsatt ubekreftet?

De tilgjengelige omtalene gjengir i hovedsak Zhipus egne opplysninger. Uavhengige tester trengs for å fastslå om FlashX holder 200 tokener i sekundet over tid, og hvordan responstid og stabilitet påvirkes når mange bruker tjenesten samtidig. Det samme gjelder omfanget av akseleratorklyngen og produksjonstrafikken, hvor stor del av forbedringene Infra Agent faktisk sto for sammenlignet med menneskelige ingeniører, utgangspunktet for økningen på 3,2 ganger og kostnadssammenligningen med Nvidia-baserte systemer. 15613