GLM-5.3-FlashX: schnellerer KI-Dienst, aber kein neues Basismodell

Wer GLM-5.3-FlashX nutzen will, sollte vor allem zwischen Modell und Bereitstellung unterscheiden: Zhipu AI bietet FlashX als schnellere API-Variante seines mit offenen Modellgewichten veröffentlichten GLM-5.3-Flash an. Zhipu beschreibt damit eine Verbesserung der Antwortgeschwindigkeit und des Betriebs, nicht eine gesondert dokumentierte neue Architektur oder eine weitere Veröffentlichung offener Modellgewichte. 14

Was steckt im Basismodell?

GLM-5.3-Flash ist ein nativ multimodales Mixture-of-Experts-Modell. Es umfasst 320 Milliarden Parameter, von denen bei einer Verarbeitung 18 Milliarden aktiv sind; Zhipu gibt ein Kontextfenster von einer Million Tokens an. FlashX baut auf diesem Modell auf. Für die API-Variante bewirbt Zhipu bis zu 200 generierte Tokens pro Sekunde. „Bis zu“ bezeichnet hier eine Anbieterangabe, keinen unter identischen Bedingungen nachgewiesenen Geschwindigkeitsvorsprung gegenüber Flash. 17

Was soll den Betrieb beschleunigt haben?

Nach Angaben von Zhipu läuft der produktive Flash-Dienst auf mehr als 100.000 in China hergestellten KI-Beschleunigern. Ein von GLM-5.3 gesteuerter Infra Agent soll beim Auffinden von Engpässen, bei Codeänderungen und bei der Optimierung des Systems zur Modellausführung geholfen haben. Zu den beschriebenen Arbeiten gehören Verbesserungen bei der gleichzeitigen Übertragung zwischengespeicherter Berechnungsdaten sowie an einem Rechenkern für die Ausgabe von Tokens. 67

Zhipu beziffert den Ende-zu-Ende-Durchsatz des Dienstes nach der Umstellung auf das 3,2-Fache des anfänglichen Werts; der Weg zur produktiven Bereitstellung habe weniger als zwei Wochen gedauert. Das ist eine Aussage darüber, wie viel das Gesamtsystem verarbeitet – nicht darüber, wie schnell eine einzelne Anfrage ihre Antwort erhält. 13

Betriebskosten sind nicht API-Preise

Zhipu zufolge sind Hardwareauslastung und Betriebskosten pro Token mit gängigen Nvidia-GPU-Systemen vergleichbar. Ein unabhängiger Vergleich unter gleichen Bedingungen ist in den angeführten Berichten jedoch nicht belegt. Für API-Kunden gelten zudem andere Zahlen: FlashX wird mit 0,37 US-Dollar je Million Eingabe-Tokens und 1,25 US-Dollar je Million Ausgabe-Tokens angegeben, Flash mit 0,15 beziehungsweise 0,50 US-Dollar. Ein Ausgabe-Token kostet bei FlashX nach diesen Preisen damit das 2,5-Fache. 645

Offen bleibt, ob FlashX die genannten 200 Tokens pro Sekunde auch dauerhaft bei vielen gleichzeitigen Anfragen erreicht – und mit welcher Latenz und Zuverlässigkeit. Unabhängig zu prüfen wären ebenso Zahl und tatsächliche Nutzung der Beschleuniger, der Anteil des Infra Agent gegenüber menschlicher Entwicklungsarbeit, der Ausgangswert des 3,2-fachen Durchsatzes sowie der Kostenvergleich mit Nvidia-Systemen. Die verfügbaren Darstellungen geben hier überwiegend Zhipus Angaben wieder. 156