GLM-5.3-FlashX promette 200 token al secondo: cosa c’è dietro la versione veloce di Zhipu

La distinzione più utile per chi valuta queste API è semplice: GLM-5.3-Flash è il modello di base reso open source; GLM-5.3-FlashX è la sua offerta più veloce tramite API. Zhipu presenta FlashX come un miglioramento dell’inferenza e dell’infrastruttura che eroga il servizio, non come una nuova architettura documentata o un secondo rilascio di pesi aperti. 14

Modello e velocità: due confronti da non confondere

GLM-5.3-Flash è un modello multimodale nativo di tipo mixture-of-experts: conta 320 miliardi di parametri totali, di cui 18 miliardi attivi, e Zhipu gli attribuisce una finestra di contesto fino a 1 milione di token. Un token è un’unità di testo elaborata dal modello; la dimensione del contesto indica quanto contenuto può considerare in una richiesta. 17

Per FlashX, Zhipu pubblicizza fino a 200 token generati al secondo. «Fino a» è il punto decisivo: è un picco dichiarato dal fornitore, non la prova che ogni richiesta raggiunga quella velocità, né una misura di quanto FlashX sia più rapido di Flash a parità di condizioni. 14

Cosa sostiene Zhipu sull’infrastruttura

L’azienda afferma che il traffico di produzione di GLM-5.3-Flash viene gestito su oltre 100.000 acceleratori AI prodotti in Cina. Racconta inoltre che un Infra Agent basato su GLM-5.3 ha aiutato gli ingegneri a individuare colli di bottiglia, modificare codice e ottimizzare il sistema di erogazione: tra gli interventi riferiti figurano la riduzione di un problema di concorrenza nel trasferimento della cache KV e il miglioramento di un componente software usato nella fase di generazione dell’output. 67

Zhipu attribuisce a questo lavoro un throughput end-to-end pari a 3,2 volte quello della configurazione iniziale, raggiunto in meno di due settimane. Il throughput misura la capacità complessiva del sistema di gestire richieste: non equivale ai 200 token al secondo dichiarati per la generazione di una singola risposta con FlashX. 613

Costi per l’azienda e prezzo per il cliente

Secondo Zhipu, utilizzo dell’hardware e costo per token erogato sarebbero comparabili a quelli di installazioni basate su GPU Nvidia diffuse sul mercato. È un confronto sui costi operativi dichiarati, non una verifica indipendente dei prezzi pagati dagli utenti. 713

I prezzi API riportati per un milione di token sono infatti 0,37 dollari in ingresso e 1,25 dollari in uscita per FlashX, contro 0,15 e 0,50 dollari per Flash. Il prezzo dei token generati da FlashX è quindi 2,5 volte quello della versione base. 45

Quali affermazioni aspettano conferme esterne

Restano da misurare in test indipendenti la capacità di mantenere i 200 token al secondo nel tempo, la latenza e l’affidabilità con molte richieste simultanee. Servono inoltre riscontri sul numero di acceleratori e sulla quota di traffico realmente servita, sul contributo dell’Infra Agent rispetto al lavoro umano, sulla base di confronto del 3,2× e sull’effettiva comparabilità dei costi per token con sistemi Nvidia. Le fonti disponibili riportano in larga parte i numeri comunicati da Zhipu, senza costituire una verifica omogenea e indipendente di tutte queste affermazioni. 15613