AnswersPublished17 sources
Kina bygger TPU-kluster med 1 024 chip – siktar på billigare AI-inferens
China Telecoms Hangzhou enhet, ZTE och Zhonghao Xinying har driftsatt ett kluster med 1 024 Chana TPU:er och en angiven kapacitet på 400 PFLOPS. Enligt deltagarna har uppdelad Prefill–Decode schemaläggning och flera månaders optimering höjt tokenproduktionen mer än tiofalt och sänkt kostnaden per miljon token till u...
Publicerad avRedigerad med GPT-5.6 TerraBilder genererade med GPT Image 2
Research answer
Key takeaways
- China Telecoms Hangzhou enhet, ZTE och Zhonghao Xinying har driftsatt ett kluster med 1 024 Chana TPU:er och en angiven kapacitet på 400 PFLOPS.
- Enligt deltagarna har uppdelad Prefill–Decode schemaläggning och flera månaders optimering höjt tokenproduktionen mer än tiofalt och sänkt kostnaden per miljon token till under 10 yuan.
- I en planerad andra fas ska andra generationens Xuyu TPU användas för att föra den totala kapaciteten över 10 000 PFLOPS.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How did China Telecom’s Hangzhou branch, ZTE, and Zhonghao Xinying deploy China’s first domestic 1,024-chip Chana TPU cluster delivering 400. Article summary: China Telecom’s Hangzhou branch, ZTE, and Zhonghao Xinying built the first phase as a production-oriented, fully domestic TPU stack rather than merely installing accelerators: 1,024 first-generation Chana TPUs were integ. Topic tags: general, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
Det intressanta med bygget i Hangzhou är inte bara siffran 1 024 chip, utan allt som har integrerats runt dem. China Telecoms Hangzhou-enhet har tillsammans med ZTE och Zhonghao Xinying kopplat ihop första generationens Chana-TPU:er med Taize-plattformen, servrar, klusternätverk och schemaläggning. Resultatet uppges vara ett system på 400 PFLOPS för träning av stora modeller, AI-inferens och vetenskapliga beräkningar. Projektet beskrivs som China Telecoms första storskaliga utbyggnad av ett inhemskt TPU-kluster och östra Kinas första inhemska TPU-kluster i tusenkortsklassen. 17
20
Vad som har byggts
Den första etappen använder 1 024 Chana-TPU:er på Zhonghao Xinyings Taize-plattform. Enligt partnerna är hela kedjan inhemskt utvecklad – från acceleratorn och serverhårdvaran till klusternätet och plattformen för beräkningsschemaläggning. 17
18
Det är en viktig skillnad. Ett stort AI-kluster är inte bara en samling acceleratorer i rack. Den faktiska nyttan beror på hur servrar, nätverk, modellmjukvara och schemaläggare fungerar tillsammans. Ambitionen är att göra TPU:n till en driftbar beräkningstjänst, snarare än en enskild chipdemonstration. 18
Därför är uppdelningen mellan Prefill och Decode viktig
Inferens för stora språkmodeller består i grova drag av två steg:
- Prefill bearbetar användarens fråga och bygger upp modellens arbetskontext.
- Decode genererar sedan svaret, token för token.
Stegen belastar systemet på olika sätt. När de skiljs åt kan plattformen fördela och schemalägga kapacitet för promptbearbetning respektive textgenerering separat, i stället för att låta samma enhetspool hantera båda arbetslaster med samma planering. I produktion kräver modellen dessutom klusterorkestrering och nätverkskonfiguration, vilket framgår av vägledning för Prefill–Decode-separerade SGLang-tjänster. 2
Hangzhou Telecom uppger att flera månaders mjuk- och hårdvaruoptimering – av modellversioner, operatorer, serverkonfigurationer, nätverksbandbredd och schemaläggning – har ökat tokenproduktionen med mer än tio gånger jämfört med början av året. Bolaget uppger också att kostnaden per miljon token har fallit från omkring 100 yuan till under 10 yuan. 9
11
Siffrorna ska dock läsas som operatörsrapporterade resultat från en specifik driftsättning, inte som universella TPU-riktmärken. Rapporterna redovisar inte modellurval, precision, batchstorlekar, trafikmönster, nyttjandegrad eller metod för kostnadsberäkning. Därför går det inte att oberoende återskapa eller direkt jämföra besparingen med en annan inferensplattform.
Tre parter täcker hela systemet
Klustret sammanför tre delar som ofta utvärderas var för sig:
- Zhonghao Xinying levererar Chana-TPU:n och Taize-plattformen. Enligt rapporteringen har Chana en egenutvecklad IP-kärna, instruktionsuppsättning och beräkningsplattform.
18
19
- ZTE medverkar i det gemensamma bygget som omfattar kommunikationsnät, serverintegration och klusterinfrastruktur.
- China Telecom Hangzhou står för den operativa miljön för att leverera och förvalta beräkningskapacitet i stor skala.
För ett inhemskt AI-chip är en sådan operatörsmiljö betydelsefull: fokus flyttas från chipets toppspecifikationer till faktisk tjänsteleverans. Schemaläggning, modellanpassning, nätverksbeteende och löpande drift avgör om kunderna får förutsägbar inferenskapacitet. Projektets arkitektur omfattar uttryckligen beräkningsresurser, schemaläggning, modellanpassning, driftstyrning och branschapplikationer. 18
Möjligheten – och den svårare mjukvarufrågan
En TPU är en tensorinriktad AI-accelerator. Dess styrka är inte enbart höga FLOPS-tal, utan möjligheten att effektivt köra de matristunga arbetslaster som är vanliga vid träning och inferens med stora modeller. I klusterskala går chipets prestanda emellertid inte att skilja från sammankoppling, minnesbeteende, kollektiv kommunikation, schemaläggning, tillförlitlighet och kompatibilitet med modellmjukvara.
Ett inhemskt alternativ måste alltså visa mer än att själva kislet fungerar. Modeller, inferensmotorer, operatorer, kvantiseringsmetoder och kundernas arbetsflöden behöver fungera stabilt på den nya teknikstacken. Underlaget bekräftar bygget i Hangzhou och den planerade utbyggnaden, men visar inte bred likvärdighet med etablerade GPU-ekosystem för olika modeller och ramverk.
Nästa fas: Xuyu och målet på 10 000 PFLOPS
Partnerna planerar en andra etapp med Zhonghao Xinyings andra generationens TPU, Xuyu, där den sammanlagda planerade kapaciteten ska överstiga 10 000 PFLOPS. 17
19
Bolaget uppger att Xuyu når 896 TFLOPS vid flyttalsberäkningar med blandad precision och 1 792 TOPS för 8-bitars inferens, med en nominell effekt på 600 W. Företaget hävdar också att Xuyu ger ungefär tre gånger prestandan hos Chana och använder 50 procent mindre energi än konventionella chip vid jämförbar prestanda. Det handlar om specifikationer som rapporterats av bolaget självt. 19
20
På systemnivå är Xuyu enligt företagets offentliga presentation utformad för supernoder med upp till 2 048 chip sammankopplade genom helt optisk interconnect. 20
Vad klustret faktiskt visar
Hangzhou-projektet visar ett försök att bygga en inhemsk AI-beräkningsstack från chip till tjänst: accelerator, instruktionsuppsättning, servrar, nätverk, schemaläggning och drift. 18
19 Det mest avgörande testet blir om stacken kan hantera varierande produktionsarbetslaster med kompatibel mjukvara, förutsägbar prestanda och transparent ekonomi.
Utbyggnaden på 400 PFLOPS och planerna för Xuyu är väl dokumenterade i rapporteringen. De mest iögonfallande uppgifterna – över tio gånger högre tokenproduktion och en kostnad under 10 yuan per miljon token – kan vara rimliga mål för ett inferenssystem med bättre resursutnyttjande. Men tills metodik och arbetslastdata offentliggörs är de fortfarande påståenden från operatören och projektdeltagarna. 9
11
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Kina bygger TPU-kluster med 1 024 chip – siktar på billigare AI-inferens"?
China Telecoms Hangzhou enhet, ZTE och Zhonghao Xinying har driftsatt ett kluster med 1 024 Chana TPU:er och en angiven kapacitet på 400 PFLOPS.
What are the key points to validate first?
China Telecoms Hangzhou enhet, ZTE och Zhonghao Xinying har driftsatt ett kluster med 1 024 Chana TPU:er och en angiven kapacitet på 400 PFLOPS. Enligt deltagarna har uppdelad Prefill–Decode schemaläggning och flera månaders optimering höjt tokenproduktionen mer än tiofalt och sänkt kostnaden per miljon token till under 10 yuan.
What should I do next in practice?
I en planerad andra fas ska andra generationens Xuyu TPU användas för att föra den totala kapaciteten över 10 000 PFLOPS.