AnswersPublished17 sources
Kinas 1.024-chip TPU-klynge skal presse prisen på AI-inferens ned
China Telecoms afdeling i Hangzhou, ZTE og Zhonghao Xinying har sat 1.024 Chana TPU’er i drift i en klynge på 400 PFLOPS. Operatøren oplyser, at effektiviteten i token output er steget mere end tidoblet, og at prisen pr.
Udgivet afRedigeret med GPT-5.6 TerraBilleder genereret med GPT Image 2
Research answer
Key takeaways
- China Telecoms afdeling i Hangzhou, ZTE og Zhonghao Xinying har sat 1.024 Chana TPU’er i drift i en klynge på 400 PFLOPS.
- Operatøren oplyser, at effektiviteten i token output er steget mere end tidoblet, og at prisen pr.
- Anden fase er planlagt med Xuyu, Zhonghao Xinyings TPU af anden generation, og en samlet kapacitet på over 10.000 PFLOPS.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How did China Telecom’s Hangzhou branch, ZTE, and Zhonghao Xinying deploy China’s first domestic 1,024-chip Chana TPU cluster delivering 400. Article summary: China Telecom’s Hangzhou branch, ZTE, and Zhonghao Xinying built the first phase as a production-oriented, fully domestic TPU stack rather than merely installing accelerators: 1,024 first-generation Chana TPUs were integ. Topic tags: general, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
Det bemærkelsesværdige ved anlægget i Hangzhou er ikke kun tallet 1.024. China Telecoms afdeling i Hangzhou, ZTE og Zhonghao Xinying har samlet acceleratorer, servere, klyngenetværk, planlægning og softwareplatform i ét system. Første fase består af 1.024 Chana-TPU’er på Taize-platformen og er angivet til 400 PFLOPS til træning af store modeller, AI-inferens og videnskabelige beregninger. Projektet beskrives som China Telecom-koncernens første store implementering af en hjemlig TPU-klynge og som Østkinas første hjemlige TPU-klynge i tusindkortsklassen. 17
20
Mere end en samling AI-chips
Første fase bruger Chana, Zhonghao Xinyings TPU af første generation, på virksomhedens Taize-platform. Partnerne beskriver løsningen som hjemligt udviklet hele vejen fra accelerator og serverhardware til klyngenetværk og kapacitetsplanlægning. 17
18
Det er en væsentlig skelnen: En stor AI-klynge bliver ikke automatisk effektiv, blot fordi den rummer mange acceleratorer. Den reelle kapacitet afhænger af samspillet mellem servere, netværk, modelsoftware og den software, der fordeler opgaverne. Målet er derfor at gøre TPU’en til en driftbar beregningstjeneste – ikke blot en chipdemonstration. 18
Hvorfor opdelingen mellem prefill og decode er central
Inferens med store sprogmodeller består grundlæggende af to forskellige arbejdstrin:
- Prefill behandler brugerens prompt og opbygger modellens arbejdskontekst.
- Decode genererer efterfølgende svaret token for token.
De to faser belaster systemet forskelligt. Ved at adskille dem kan platformen tildele og planlægge kapacitet særskilt til promptbehandling og tekstgenerering, frem for at lade én fælles pulje af enheder håndtere begge opgaver under samme plan. Produktionsmiljøer kræver samtidig klyngeorkestrering og netværksopsætning, hvilket også fremgår af vejledninger til SGLang-tjenester med adskilt prefill og decode. 2
Hangzhou Telecom oplyser, at flere måneders software- og hardwareoptimering – af modelversioner, operatorer, serveropsætning, netværksbåndbredde og planlægning – har løftet effektiviteten i token-output med mere end 10 gange siden årets begyndelse. Selskabet oplyser også, at omkostningen pr. million tokens er faldet fra omkring 100 yuan til under 10 yuan. 9
11
Tallene skal dog læses som driftsresultater oplyst af operatøren, ikke som universelle TPU-benchmarks. De tilgængelige rapporter oplyser hverken modelmiks, præcision, batchstørrelser, trafikmønster, udnyttelsesgrad eller metode til omkostningsberegning. Derfor kan besparelsen ikke uafhængigt efterprøves eller direkte sammenlignes med andre inferensplatforme.
Tre parter skal løse en systemopgave
Klyngen samler funktioner, der ofte vurderes hver for sig:
- Zhonghao Xinying leverer Chana-TPU’en og Taize-platformen. Chana beskrives med egenudviklet IP-kerne, instruktionssæt og beregningsplatform.
18
19
- ZTE indgår i den fælles opbygning, som omfatter kommunikationsnet, serverintegration og klyngeinfrastruktur.
- China Telecom Hangzhou leverer driftsmiljøet til at udbyde og administrere beregningskapacitet i stor skala.
For en hjemlig AI-chip er et sådant operatørmiljø vigtigt, fordi testen flyttes fra chipens teoretiske topydelse til faktisk tjenestelevering. Planlægning, modeltilpasning, netværksadfærd og løbende drift er alle afgørende for, om kunder kan få forudsigelig inferenskapacitet. Projektets arkitektur omfatter eksplicit beregningsressourcer, planlægning, modeltilpasning, driftsstyring og brancheapplikationer. 18
Potentialet – og den svære softwareopgave
En TPU er en tensororienteret AI-accelerator. Dens styrke ligger ikke alene i mange FLOPS, men i effektiv udførelse af de matrixintensive beregninger, der dominerer træning og inferens af store modeller.
I klyngeskala er acceleratorens ydelse imidlertid tæt knyttet til forbindelser mellem chips, hukommelsesadfærd, kollektiv kommunikation, planlægning, driftsstabilitet og kompatibilitet med modelsoftware. Derfor er det ikke nok at vise, at siliciumet fungerer. Modeller, inferensmotorer, operatorer, kvantiseringsmetoder og kundernes arbejdsgange skal fungere stabilt på den nye platform.
Rapporteringen dokumenterer udrulningen i Hangzhou og den planlagte udvidelse, men den dokumenterer ikke bred ligestilling med de etablerede GPU-økosystemer på tværs af modeller og softwareframeworks.
Fase to: Xuyu og målet om 10.000 PFLOPS
Partnerne planlægger en anden fase med Zhonghao Xinyings TPU af anden generation, Xuyu, og en samlet planlagt kapacitet på over 10.000 PFLOPS. 17
19
Virksomheden oplyser, at Xuyu leverer 896 TFLOPS i mixed-precision-flydende-komma-ydelse og 1.792 TOPS til 8-bit-inferens med et nominelt strømforbrug på 600 W. Den hævder desuden omkring tre gange højere ydelse end Chana og 50 % lavere strømforbrug end traditionelle chips ved sammenlignelig ydelse. Det er virksomhedsoplyste specifikationer. 19
20
Ifølge virksomhedens offentlige præsentation er Xuyu desuden designet til supernoder med op til 2.048 chips forbundet via fuldoptisk interconnect. 20
Hvad anlægget faktisk viser
Hangzhou-projektet viser et forsøg på at samle en hjemlig AI-beregningsstack fra chip til platform: accelerator, instruktionssæt, servere, netværk, planlægning og tjenestedrift. 18
19 Den afgørende prøve bliver, om stacken kan håndtere varierede produktionsbelastninger med kompatibel software, forudsigelig ydelse og gennemsigtig økonomi.
Udrulningen på 400 PFLOPS og den planlagte Xuyu-udvidelse er bredt rapporteret. De mest markante udsagn – mere end tidoblet effektivitet i token-output og under 10 yuan pr. million tokens – er mulige resultater af et inferenssystem med bedre udnyttelse, men de er fortsat påstande fra operatøren og projektdeltagerne, indtil benchmarkmetode og arbejdsbelastningsdetaljer bliver offentliggjort. 9
11
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Kinas 1.024-chip TPU-klynge skal presse prisen på AI-inferens ned"?
China Telecoms afdeling i Hangzhou, ZTE og Zhonghao Xinying har sat 1.024 Chana TPU’er i drift i en klynge på 400 PFLOPS.
What are the key points to validate first?
China Telecoms afdeling i Hangzhou, ZTE og Zhonghao Xinying har sat 1.024 Chana TPU’er i drift i en klynge på 400 PFLOPS. Operatøren oplyser, at effektiviteten i token output er steget mere end tidoblet, og at prisen pr.
What should I do next in practice?
Anden fase er planlagt med Xuyu, Zhonghao Xinyings TPU af anden generation, og en samlet kapacitet på over 10.000 PFLOPS.