GLM-5.3-FlashX: snellere AI-dienst, nog geen bewezen doorbraak

Voor gebruikers is het belangrijkste onderscheid eenvoudig: GLM-5.3-FlashX is bedoeld als snellere dienst via Zhipu AI’s API, gebouwd op GLM-5.3-Flash. Dat basismodel is open beschikbaar gesteld; FlashX wordt gepresenteerd als een verbetering van de uitvoering en infrastructuur, niet als een afzonderlijk gedocumenteerde modelarchitectuur of een nieuwe release met open modelgewichten. 14

Wat zit er achter FlashX?

GLM-5.3-Flash is een multimodaal mixture-of-experts-model: afhankelijk van de taak wordt slechts een deel van het model geactiveerd. Het telt 320 miljard parameters in totaal, waarvan er 18 miljard actief zijn, en ondersteunt volgens Zhipu een contextvenster van 1 miljoen tokens. Zhipu adverteert FlashX met een snelheid van maximaal 200 gegenereerde tokens per seconde. Dat is een door de aanbieder opgegeven topsnelheid, geen onder gelijke omstandigheden aangetoonde versnelling ten opzichte van de gewone Flash-versie. 17

Wat zegt Zhipu over de infrastructuur?

Volgens Zhipu verwerkt zijn productieomgeving voor Flash verkeer op meer dan 100.000 in China gemaakte AI-accelerators. Het bedrijf zegt dat een door GLM-5.3 aangedreven Infra Agent hielp bij het opsporen van knelpunten, aanpassen van code en optimaliseren van de software die het model voor gebruikers beschikbaar maakt. De beschreven ingrepen omvatten het verminderen van een gelijktijdigheidsknelpunt bij de overdracht van KV-gegevens en het verbeteren van een decode-kernel. 67

Zhipu meldt dat de end-to-enddoorvoer 3,2 keer zo hoog werd als bij de oorspronkelijke uitgangssituatie, tijdens een uitrol die minder dan twee weken duurde. Doorvoer betekent hier hoeveel werk het totale systeem kan verwerken. Het cijfer zegt dus niet dat één gebruiker 3,2 keer zo snel een antwoord krijgt, en is ook niet hetzelfde als de geadverteerde 200 tokens per seconde. 1315

Lagere kosten voor Zhipu, maar niet voor de API-klant

Zhipu stelt dat zowel de benutting van de hardware als de kosten per verwerkte token vergelijkbaar zijn met die van gangbare systemen met Nvidia-GPU’s. De aangehaalde berichtgeving bevat daarvoor echter geen onafhankelijke vergelijking onder gelijke omstandigheden. 713

Bovendien zijn exploitatiekosten en API-prijzen twee verschillende zaken. De vermelde tarieven per miljoen tokens zijn voor FlashX $0,37 voor invoer en $1,25 voor uitvoer, tegenover $0,15 en $0,50 voor Flash. Een miljoen uitgevoerde tokens kost via FlashX daarmee ongeveer 2,5 keer zoveel. 45

Wat moet nog worden getoetst? Onafhankelijke metingen moeten uitwijzen of FlashX de opgegeven snelheid ook langdurig haalt bij veel gelijktijdige verzoeken, en hoe het dan zit met wachttijd en betrouwbaarheid. Ook de omvang en inzet van het acceleratorcluster, de precieze bijdrage van de Infra Agent tegenover die van menselijke technici, de uitgangssituatie achter de 3,2 keer hogere doorvoer en de kostenvergelijking met Nvidia-systemen vragen om externe verificatie. De beschikbare verslagen nemen deze cijfers grotendeels van Zhipu over. 16713