AnswersPublished17 sources
Il cluster TPU di Hangzhou: 1.024 chip e una promessa di inferenza AI più economica
China Telecom Hangzhou, ZTE e Zhonghao Xinying hanno realizzato un cluster da 1.024 TPU Chana, con una capacità dichiarata di 400 PFLOPS. L’operatore riferisce un aumento di oltre 10 volte dell’efficienza di output dei token e un costo sceso da circa 100 yuan a meno di 10 yuan per milione di token, dopo mesi di otti...
Pubblicato daModificato con GPT-5.6 TerraImmagini generate con GPT Image 2
Research answer
Key takeaways
- China Telecom Hangzhou, ZTE e Zhonghao Xinying hanno realizzato un cluster da 1.024 TPU Chana, con una capacità dichiarata di 400 PFLOPS.
- L’operatore riferisce un aumento di oltre 10 volte dell’efficienza di output dei token e un costo sceso da circa 100 yuan a meno di 10 yuan per milione di token, dopo mesi di ottimizzazione.
- La seconda fase dovrebbe adottare le TPU Xuyu di seconda generazione e superare 10.000 PFLOPS complessivi; specifiche e risparmi energetici restano dati dichiarati dall’azienda.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How did China Telecom’s Hangzhou branch, ZTE, and Zhonghao Xinying deploy China’s first domestic 1,024-chip Chana TPU cluster delivering 400. Article summary: China Telecom’s Hangzhou branch, ZTE, and Zhonghao Xinying built the first phase as a production-oriented, fully domestic TPU stack rather than merely installing accelerators: 1,024 first-generation Chana TPUs were integ. Topic tags: general, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
Il progetto di Hangzhou è rilevante non tanto per il numero in sé — 1.024 chip — quanto per l’integrazione costruita attorno ai chip. La filiale di China Telecom a Hangzhou, ZTE e Zhonghao Xinying hanno unito le TPU Chana di prima generazione alla piattaforma di calcolo Taize, ai server, alla rete del cluster e al software di scheduling, creando un sistema da 400 PFLOPS destinato all’addestramento di grandi modelli, all’inferenza AI e al calcolo scientifico. Le fonti lo descrivono come il primo grande dispiegamento di un cluster basato su TPU domestiche nel sistema China Telecom e come il primo cluster cinese di TPU nazionali da mille schede nella Cina orientale. 17
20
Che cosa è stato installato
La prima fase utilizza 1.024 TPU Chana sulla piattaforma Taize di Zhonghao Xinying. I partner presentano l’infrastruttura come una soluzione sviluppata internamente lungo l’intera catena: acceleratore, hardware dei server, rete del cluster e pianificazione delle risorse di calcolo. 17
18
La distinzione è importante: un grande cluster AI non è semplicemente una sala macchine piena di acceleratori. Le prestazioni effettivamente disponibili dipendono dall’integrazione fra server, rete, software per i modelli e scheduler. L’obiettivo dichiarato del progetto è trasformare la TPU in un servizio di calcolo gestibile e operativo, non limitarsi a dimostrare il funzionamento di un singolo chip. 18
Perché la separazione Prefill-Decode è al centro della promessa sui costi
Nell’inferenza dei grandi modelli linguistici ci sono due fasi diverse:
- Prefill: elabora il prompt dell’utente e costruisce il contesto di lavoro del modello.
- Decode: genera i token di risposta, uno alla volta.
Le due fasi richiedono risorse in modo differente. Separarle consente alla piattaforma di assegnare e pianificare in autonomia la capacità necessaria per elaborare il prompt e quella necessaria per produrre la risposta, invece di far gravare entrambi i carichi su un unico pool di dispositivi e su un’unica logica di scheduling. Nella pratica, questa architettura richiede anche orchestrazione del cluster e configurazione della rete, come mostra la documentazione di deployment dei servizi SGLang con Prefill-Decode separato. 2
Hangzhou Telecom afferma che mesi di ottimizzazione congiunta di software e hardware — versioni dei modelli, operatori, configurazioni dei server, banda di rete e scheduling — abbiano aumentato di oltre 10 volte l’efficienza di produzione dei token rispetto all’inizio dell’anno. L’operatore riferisce inoltre che il costo per un milione di token è passato da circa 100 yuan a meno di 10 yuan. 9
11
Questi numeri vanno però letti come risultati dichiarati dall’operatore, non come benchmark universali delle TPU. Le informazioni disponibili non precisano quali modelli siano stati usati, la precisione numerica, le dimensioni dei batch, il profilo del traffico, il tasso di utilizzo né il metodo di calcolo dei costi. Non è quindi possibile riprodurre o confrontare in modo indipendente il risparmio dichiarato con altre piattaforme di inferenza.
Perché conta il modello di collaborazione a tre
Il cluster mette insieme capacità che di solito vengono valutate separatamente:
- Zhonghao Xinying fornisce la TPU Chana e la piattaforma Taize. Secondo le fonti, Chana dispone di core IP, set di istruzioni e piattaforma di calcolo sviluppati internamente.
18
19
- ZTE partecipa alla realizzazione con competenze che coprono reti di telecomunicazione, integrazione dei server e infrastruttura del cluster.
- China Telecom Hangzhou offre il contesto operativo per erogare e gestire capacità di calcolo su larga scala.
Per un chip AI nazionale, un ambiente gestito da un operatore è utile perché sposta la verifica dalle specifiche di picco del chip alla qualità del servizio: scheduling, adattamento dei modelli, comportamento della rete e operatività continua incidono tutti sulla possibilità di offrire capacità di inferenza prevedibile ai clienti. L’architettura del progetto include esplicitamente risorse di calcolo, scheduling, adattamento dei modelli, gestione operativa e applicazioni settoriali. 18
L’opportunità delle TPU e la sfida più difficile: il software
Una TPU è un acceleratore AI orientato ai calcoli tensoriali. Il suo potenziale non risiede soltanto nei FLOPS di picco, ma nell’esecuzione efficiente dei carichi basati su matrici, comuni nell’addestramento e nell’inferenza dei grandi modelli.
Su scala cluster, tuttavia, il rendimento dell’acceleratore è inseparabile da interconnessione, comportamento della memoria, comunicazioni collettive, scheduling, affidabilità e compatibilità del software per i modelli. Per questo un’alternativa nazionale deve dimostrare più del corretto funzionamento del silicio: modelli, motori di inferenza, operatori, tecniche di quantizzazione e flussi di lavoro dei clienti devono funzionare in modo affidabile sul nuovo stack.
Le fonti fornite confermano il deployment di Hangzhou e il piano di espansione, ma non dimostrano una parità generalizzata con gli ecosistemi software delle GPU più diffuse, attraverso modelli e framework diversi.
Seconda fase: Xuyu e l’obiettivo oltre 10.000 PFLOPS
I partner prevedono una seconda fase basata sulla TPU Xuyu di seconda generazione di Zhonghao Xinying, con una capacità complessiva pianificata superiore a 10.000 PFLOPS. 17
19
L’azienda dichiara per Xuyu 896 TFLOPS in virgola mobile a precisione mista e 1.792 TOPS nell’inferenza a 8 bit, con un assorbimento nominale di 600 W. Sempre secondo l’azienda, Xuyu offrirebbe circa tre volte le prestazioni di Chana e un consumo inferiore del 50% rispetto a chip convenzionali a parità di prestazioni. Si tratta di specifiche dichiarate dal produttore. 19
20
A livello di sistema, la presentazione pubblica dell’azienda indica che Xuyu è progettata per supernodi con fino a 2.048 chip collegati tramite interconnessione interamente ottica. 20
Cosa dimostra davvero il cluster di Hangzhou
Il progetto dimostra il tentativo di assemblare uno stack nazionale per il calcolo AI, dal chip alla piattaforma: acceleratore, set di istruzioni, server, rete, scheduling e gestione del servizio. 18
19 La prova più significativa sarà la capacità di questo stack di sostenere carichi produttivi diversificati, con software compatibile, prestazioni prevedibili ed economia dei costi trasparente.
Il deployment da 400 PFLOPS e l’espansione programmata con Xuyu sono ampiamente riportati. Le affermazioni più d’impatto — efficienza di output dei token oltre 10 volte superiore e costo sotto i 10 yuan per milione di token — sono obiettivi plausibili per un sistema di inferenza meglio utilizzato, ma restano dichiarazioni dell’operatore e dei partecipanti al progetto finché non saranno divulgati metodologia dei benchmark e dettagli dei carichi di lavoro. 9
11
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Il cluster TPU di Hangzhou: 1.024 chip e una promessa di inferenza AI più economica"?
China Telecom Hangzhou, ZTE e Zhonghao Xinying hanno realizzato un cluster da 1.024 TPU Chana, con una capacità dichiarata di 400 PFLOPS.
What are the key points to validate first?
China Telecom Hangzhou, ZTE e Zhonghao Xinying hanno realizzato un cluster da 1.024 TPU Chana, con una capacità dichiarata di 400 PFLOPS. L’operatore riferisce un aumento di oltre 10 volte dell’efficienza di output dei token e un costo sceso da circa 100 yuan a meno di 10 yuan per milione di token, dopo mesi di ottimizzazione.
What should I do next in practice?
La seconda fase dovrebbe adottare le TPU Xuyu di seconda generazione e superare 10.000 PFLOPS complessivi; specifiche e risparmi energetici restano dati dichiarati dall’azienda.