AnswersPublished17 sources
Kinas 1.024-brikkers TPU-klynge i Hangzhou skal presse ned KI-kostnadene
China Telecoms avdeling i Hangzhou, ZTE og Zhonghao Xinying har bygget en klynge med 1.024 Chana TPU er, oppgitt til 400 PFLOPS. Systemet kombinerer akseleratorer, servere, klyngenettverk, planlegging og Taize plattformen for trening, inferens og vitenskapelige beregninger.
Publisert avRedigert med GPT-5.6 TerraBilder generert med GPT Image 2
Research answer
Key takeaways
- China Telecoms avdeling i Hangzhou, ZTE og Zhonghao Xinying har bygget en klynge med 1.024 Chana TPU er, oppgitt til 400 PFLOPS.
- Systemet kombinerer akseleratorer, servere, klyngenettverk, planlegging og Taize plattformen for trening, inferens og vitenskapelige beregninger.
- Hangzhou Telecom oppgir at Prefill–Decode separasjon og flere måneders optimalisering økte token produksjonen med over 10 ganger og senket kostnaden per million token fra rundt 100 yuan til under 10 yuan.
- En andre fase er planlagt med Xuyu, Zhonghao Xinyings andre TPU generasjon, og en samlet kapasitet på over 10.000 PFLOPS.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How did China Telecom’s Hangzhou branch, ZTE, and Zhonghao Xinying deploy China’s first domestic 1,024-chip Chana TPU cluster delivering 400. Article summary: China Telecom’s Hangzhou branch, ZTE, and Zhonghao Xinying built the first phase as a production-oriented, fully domestic TPU stack rather than merely installing accelerators: 1,024 first-generation Chana TPUs were integ. Topic tags: general, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
Det interessante med utbyggingen i Hangzhou er ikke bare tallet 1.024 brikker, men systemet som er bygget rundt dem. China Telecoms avdeling i Hangzhou, ZTE og Zhonghao Xinying har koblet første generasjon Chana-TPU-er med Taize-plattformen, servere, klyngenettverk og programvare for ressursplanlegging i et system på 400 PFLOPS. Klyngen omtales som China Telecoms første storskala utrulling av en innenlandsk TPU-klynge, og som Øst-Kinas første innenlandske TPU-klynge i tusenkortklassen. 17
20
Hva som faktisk er satt i drift
Første fase består av 1.024 Chana-TPU-er på Zhonghao Xinyings Taize-plattform. Partnerne beskriver løsningen som innenlandsk utviklet gjennom hele kjeden: fra akselerator og servermaskinvare til klyngenettverk og kapasitetsplanlegging. 17
18
Det er en viktig forskjell. En stor KI-klynge er ikke bare mange akseleratorbrikker i samme datasenter. Den praktiske ytelsen avhenger av samspillet mellom servere, nettverk, modellprogramvare og programvaren som fordeler arbeidsoppgavene. Målet er derfor å gjøre TPU-en til en driftbar datatjeneste, ikke bare demonstrere en enkeltbrikke. 18
Hvorfor Prefill–Decode-separasjon står sentralt
Inferens med store språkmodeller har vanligvis to ulike faser:
- Prefill behandler brukerens spørsmål eller instruks og bygger opp modellens arbeidskontekst.
- Decode genererer svaret, token for token.
Fasene belaster maskinvaren på forskjellige måter. Ved å skille dem kan en inferensplattform dimensjonere og styre kapasiteten separat for promptbehandling og tekstgenerering, i stedet for at samme ressursgruppe skal håndtere begge typer arbeid med én felles kø. Produksjonsoppsett krever også koordinering på klyngenivå og nettverkskonfigurasjon, slik veiledning for Prefill–Decode-separerte SGLang-tjenester viser. 2
Hangzhou Telecom opplyser at flere måneders optimalisering av maskinvare og programvare – blant annet modellversjoner, operatorer, serveroppsett, nettverksbåndbredde og planlegging – løftet effektiviteten i token-utdata med mer enn ti ganger sammenlignet med starten av året. Selskapet oppga også at kostnaden per million token falt fra omtrent 100 yuan til under 10 yuan. 9
11
Tallene må likevel leses som resultater rapportert av operatøren, ikke som universelle TPU-benchmarker. De tilgjengelige rapportene oppgir ikke modellmiks, presisjon, batchstørrelser, trafikkmønster, utnyttelsesgrad eller hvordan kostnaden er beregnet. Dermed kan verken besparelsen reproduseres uavhengig eller sammenlignes direkte med andre inferensplattformer.
Hvorfor samarbeidsmodellen betyr noe
Prosjektet knytter sammen tre kapabiliteter som ofte vurderes hver for seg:
- Zhonghao Xinying leverer Chana-TPU-en og Taize-plattformen. Chana skal ha egenutviklet IP-kjerne, instruksjonssett og dataplattform.
18
19
- ZTE deltar i den samlede utbyggingen som omfatter kommunikasjonsnettverk, serverintegrasjon og klyngeinfrastruktur.
- China Telecom Hangzhou bidrar med driftsmiljøet for å levere og forvalte regnekraft i stor skala.
For en innenlandsk KI-brikke er et slikt operatørmiljø verdifullt fordi testen flyttes fra teoretiske toppspesifikasjoner til faktisk tjenesteleveranse. Planlegging, modelltilpasning, nettverksatferd og løpende drift avgjør om kundene får forutsigbar inferenskapasitet. Arkitekturen inkluderer eksplisitt regneressurser, ressursplanlegging, modelltilpasning, driftsstyring og bransjeapplikasjoner. 18
TPU-ens mulighet – og den vanskeligere programvareoppgaven
En TPU er en tensororientert KI-akselerator. Styrken ligger ikke bare i høye FLOPS-tall, men i effektiv behandling av matriseintensive arbeidslaster, som er sentrale i trening og inferens av store modeller. I en klynge er imidlertid brikkens ytelse uløselig knyttet til sammenkobling, minneoppførsel, kollektiv kommunikasjon, planlegging, driftssikkerhet og kompatibilitet med modellprogramvare.
En innenlandsk løsning må derfor bevise mer enn at silisiumet fungerer. Modeller, inferensmotorer, operatorer, kvantiseringsmetoder og kundenes arbeidsflyter må kjøre stabilt på den nye stakken. Kildematerialet dokumenterer utrullingen i Hangzhou og den planlagte utvidelsen, men viser ikke bred funksjonsmessig likeverdighet med de etablerte GPU-økosystemene på tvers av modeller og rammeverk.
Fase to: Xuyu og målet på 10.000 PFLOPS
Partnerne planlegger en andre fase med Zhonghao Xinyings andre generasjons TPU, Xuyu, der total planlagt regnekraft skal overstige 10.000 PFLOPS. 17
19
Selskapet oppgir at Xuyu leverer 896 TFLOPS i blandet presisjon og 1.792 TOPS ved 8-bits inferens, med et nominelt strømforbruk på 600 W. Det hevder også at Xuyu gir omtrent tre ganger ytelsen til Chana og 50 prosent lavere strømforbruk enn konvensjonelle brikker ved tilsvarende ytelse. Dette er selskapets egne spesifikasjoner. 19
20
På systemnivå er Xuyu ifølge selskapets offentlige presentasjon utviklet for supernoder med opptil 2.048 brikker koblet sammen med helelektrisk? Nei, her er det snakk om helaoptisk sammenkobling. 20
Hva Hangzhou-klyngen egentlig demonstrerer
Prosjektet demonstrerer et forsøk på å bygge en innenlandsk KI-infrastruktur fra brikke til plattform: akselerator, instruksjonssett, servere, nettverk, planlegging og tjenestedrift. 18
19 Den viktigste testen blir om løsningen kan håndtere varierte produksjonslaster over tid, med programvarekompatibilitet, forutsigbar ytelse og transparent økonomi.
Utrullingen på 400 PFLOPS og den planlagte Xuyu-utvidelsen er bredt omtalt. De mest iøynefallende påstandene – over tidoblet token-effektivitet og under 10 yuan per million token – kan være realistiske mål i et bedre utnyttet inferenssystem, men er foreløpig påstander fra operatøren og prosjektdeltakerne. Uten offentlig metodebeskrivelse og detaljer om arbeidslastene kan de ikke verifiseres uavhengig. 9
11
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Kinas 1.024-brikkers TPU-klynge i Hangzhou skal presse ned KI-kostnadene"?
China Telecoms avdeling i Hangzhou, ZTE og Zhonghao Xinying har bygget en klynge med 1.024 Chana TPU er, oppgitt til 400 PFLOPS.
What are the key points to validate first?
China Telecoms avdeling i Hangzhou, ZTE og Zhonghao Xinying har bygget en klynge med 1.024 Chana TPU er, oppgitt til 400 PFLOPS. Systemet kombinerer akseleratorer, servere, klyngenettverk, planlegging og Taize plattformen for trening, inferens og vitenskapelige beregninger.
What should I do next in practice?
Hangzhou Telecom oppgir at Prefill–Decode separasjon og flere måneders optimalisering økte token produksjonen med over 10 ganger og senket kostnaden per million token fra rundt 100 yuan til under 10 yuan.