AnswersPublished17 sources
China Telecomin 1 024 TPU-sirun klusteri pyrkii pudottamaan tekoälypäättelyn hintaa
China Telecomin Hangzhoun yksikkö, ZTE ja Zhonghao Xinying rakensivat 1 024 Chana TPU:sta koostuvan, 400 PFLOPSin klusterin suurten mallien koulutukseen, päättelyyn ja tieteelliseen laskentaan. Operaattorin mukaan Prefill–Decode erottelu sekä ohjelmisto ja laitteistoviritys nostivat token tuoton yli kymmenkertaiseks...
JulkaisijaMuokattu mallilla GPT-5.6 TerraKuvat luotu mallilla GPT Image 2
Research answer
Key takeaways
- China Telecomin Hangzhoun yksikkö, ZTE ja Zhonghao Xinying rakensivat 1 024 Chana TPU:sta koostuvan, 400 PFLOPSin klusterin suurten mallien koulutukseen, päättelyyn ja tieteelliseen laskentaan.
- Operaattorin mukaan Prefill–Decode erottelu sekä ohjelmisto ja laitteistoviritys nostivat token tuoton yli kymmenkertaiseksi ja laskivat miljoonan tokenin hinnan noin 100 yuanista alle 10 yuaniin.
- Toisessa vaiheessa käyttöön on tarkoitus ottaa Xuyu TPU ja kasvattaa kokonaislaskentateho yli 10 000 PFLOPSiin.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How did China Telecom’s Hangzhou branch, ZTE, and Zhonghao Xinying deploy China’s first domestic 1,024-chip Chana TPU cluster delivering 400. Article summary: China Telecom’s Hangzhou branch, ZTE, and Zhonghao Xinying built the first phase as a production-oriented, fully domestic TPU stack rather than merely installing accelerators: 1,024 first-generation Chana TPUs were integ. Topic tags: general, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
Hangzhoun käyttöönoton olennaisin asia ei ole pelkkä otsikkoluku, 1 024 sirua. Merkittävämpää on se, mitä sirujen ympärille koottiin: China Telecomin Hangzhoun yksikkö, ZTE ja Zhonghao Xinying yhdistivät ensimmäisen sukupolven Chana-TPU:t Taize-laskenta-alustaan, palvelimiin, klusteriverkkoon ja työnajoon. Tuloksena on 400 PFLOPSin järjestelmä suurten mallien koulutukseen, tekoälypäättelyyn ja tieteelliseen laskentaan. Hanketta kuvataan China Telecom -konsernin ensimmäiseksi laajamittaiseksi kotimaisen TPU-klusterin käyttöönotoksi sekä Itä-Kiinan ensimmäiseksi kotimaiseksi tuhannen kortin TPU-klusteriksi. 17
20
Mitä Hangzhoussa otettiin käyttöön
Ensimmäisessä vaiheessa Taize-alustalla käytetään 1 024 Zhonghao Xinyingin Chana-TPU:ta. Kumppaneiden mukaan kokonaisuus on rakennettu kotimaisin voimin kiihdytinsirun, palvelinlaitteiston, klusteriverkon ja laskennan työnajon tasoilla. 17
18
Tämä ero on tärkeä. Suuri tekoälyklusteri ei ole vain telineellinen kiihdyttimiä: käytännön suorituskyky riippuu palvelinten, verkkokankaan, malliohjelmiston ja työnajon yhteispelistä. Hankkeen tavoitteena on tehdä TPU:sta käytettävä laskentapalvelu, ei vain esitellä yksittäistä sirua. 18
Miksi Prefill–Decode-erottelu on kustannusväitteen ytimessä
Suurten kielimallien päättelyssä on kaksi luonteeltaan erilaista vaihetta:
- Prefill käsittelee käyttäjän syötteen ja rakentaa mallin tarvitsemansa kontekstin.
- Decode tuottaa vastauksen tokenit yksi kerrallaan.
Vaiheiden kuormitusprofiilit poikkeavat toisistaan. Kun ne erotetaan, alusta voi mitoittaa ja ajoittaa syötteen käsittelyyn ja tokenien tuottamiseen tarvittavaa kapasiteettia erikseen sen sijaan, että sama laitepooli hoitaisi molemmat tehtävät yhdellä aikataululla. Tuotantokäytössä ratkaisu edellyttää myös klusterin orkestrointia ja verkkokonfiguraatiota, kuten Prefill–Decode-eroteltujen SGLang-palvelujen käyttöönottosuositukset osoittavat. 2
Hangzhou Telecom kertoi, että kuukausien ohjelmisto- ja laitteistoviritys — malliversiot, operaattorit, palvelinkokoonpanot, verkon kaistanleveys ja työnajo mukaan lukien — paransi token-tuoton tehokkuutta yli kymmenkertaiseksi verrattuna vuoden alkuun. Yhtiö raportoi myös miljoonan tokenin kustannuksen laskeneen noin 100 yuanista alle 10 yuaniin. 9
11
Luvut ovat kuitenkin operaattorin raportoimia käyttöönoton tuloksia, eivät yleispäteviä TPU-vertailuarvoja. Saatavilla olevissa raporteissa ei kerrota mallijakaumaa, laskentatarkkuutta, eräkokoja, liikenneprofiilia, käyttöastetta eikä kustannuslaskennan menetelmää. Siksi säästöväitettä ei voi toisintaa tai verrata riippumattomasti muihin päättelyalustoihin.
Kolmen osapuolen malli on olennainen
Klusteri yhdistää kolme kyvykkyyttä, joita tarkastellaan usein erillään:
- Zhonghao Xinying toimittaa Chana-TPU:n ja Taize-alustan. Raporttien mukaan Chanassa on itse kehitetty IP-ydin, käskykanta ja laskenta-alusta.
18
19
- ZTE osallistuu yhteisrakennukseen, joka kattaa tietoliikenneverkot, palvelinintegroinnin ja klusteri-infrastruktuurin.
- China Telecom Hangzhou tarjoaa ympäristön, jossa laskentakapasiteettia voidaan toimittaa ja hallita laajassa käytössä.
Kotimaiselle tekoälypiirille operaattoriympäristö on arvokas testi, koska painopiste siirtyy sirun huippulukemista palvelun toimivuuteen. Työnajo, mallien sovittaminen, verkon käyttäytyminen ja jatkuva operointi ratkaisevat, saako asiakas ennustettavaa päättelykapasiteettia. Hankkeen arkkitehtuuriin sisältyvät nimenomaisesti laskentaresurssit, työnajo, mallien sovitus, operointihallinta ja toimialasovellukset. 18
Mahdollisuus — ja vaikeampi ohjelmistohaaste
TPU on tensorilaskentaan suunnattu tekoälykiihdytin. Sen mahdollinen etu ei perustu vain huippu-FLOPS-lukuun, vaan tehokkaaseen matriisipainotteisten työkuormien suorittamiseen. Tällaiset työkuormat ovat keskeisiä suurten mallien koulutuksessa ja päättelyssä.
Klusteritasolla kiihdyttimen suorituskykyä ei silti voi irrottaa verkkoyhteyksistä, muistikäyttäytymisestä, kollektiivisesta viestinnästä, työnajosta, luotettavuudesta ja malliohjelmistojen yhteensopivuudesta. Kotimaisen vaihtoehdon on siis osoitettava muutakin kuin se, että sen piiri toimii: mallien, päättelymoottorien, operaattorien, kvantisointimenetelmien ja asiakkaiden työnkulkujen on toimittava luotettavasti uudessa pinossa.
Saatavilla oleva raportointi tukee Hangzhoun käyttöönottoa ja suunniteltua laajennusta, mutta se ei osoita laajaa vastaavuutta valtavirran GPU-ohjelmistoekosysteemien kanssa eri mallien ja kehysten välillä.
Toinen vaihe: Xuyu ja yli 10 000 PFLOPSin tavoite
Kumppanit suunnittelevat toista vaihetta Zhonghao Xinyingin toisen sukupolven Xuyu-TPU:lla. Kokonaislaskentatehon on tarkoitus ylittää 10 000 PFLOPSia. 17
19
Yhtiön mukaan Xuyu tarjoaa 896 TFLOPSia sekatarkkuuden liukulukusuorituskykyä ja 1 792 TOPSia 8-bittisessä päättelyssä. Nimellinen tehonkulutus on 600 wattia. Yhtiö väittää Xuyun olevan noin kolme kertaa Chanaa suorituskykyisempi ja kuluttavan vastaavalla suorituskyvyllä 50 prosenttia vähemmän energiaa kuin tavanomaiset piirit. Nämä ovat yhtiön ilmoittamia teknisiä tietoja. 19
20
Yhtiön julkisen esityksen mukaan Xuyu on suunniteltu supernodeihin, joissa voidaan kytkeä enintään 2 048 sirua toisiinsa kokonaan optisilla yhteyksillä. 20
Mitä Hangzhoun klusteri todella osoittaa
Hanke osoittaa pyrkimyksen rakentaa kotimainen tekoälylaskennan kokonaisuus sirusta alustaan: kiihdytin, käskykanta, palvelimet, verkkoratkaisut, työnajo ja palveluoperaatiot. 18
19 Ratkaiseva koe on, pystyykö tämä kokonaisuus ylläpitämään monipuolisia tuotantokuormia yhteensopivalla ohjelmistolla, ennustettavalla suorituskyvyllä ja läpinäkyvällä kustannusrakenteella.
400 PFLOPSin käyttöönotosta ja suunnitellusta Xuyu-laajennuksesta on raportoitu laajasti. Huomiota herättävimmät luvut — yli kymmenkertainen token-tuoton tehokkuus ja alle 10 yuanin kustannus miljoonaa tokenia kohti — ovat mahdollisia tavoitteita paremmin hyödynnetylle päättelyjärjestelmälle. Ne ovat silti operaattorin ja hankekumppaneiden väitteitä, kunnes mittausmenetelmä ja työkuormien yksityiskohdat julkaistaan. 9
11
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "China Telecomin 1 024 TPU-sirun klusteri pyrkii pudottamaan tekoälypäättelyn hintaa"?
China Telecomin Hangzhoun yksikkö, ZTE ja Zhonghao Xinying rakensivat 1 024 Chana TPU:sta koostuvan, 400 PFLOPSin klusterin suurten mallien koulutukseen, päättelyyn ja tieteelliseen laskentaan.
What are the key points to validate first?
China Telecomin Hangzhoun yksikkö, ZTE ja Zhonghao Xinying rakensivat 1 024 Chana TPU:sta koostuvan, 400 PFLOPSin klusterin suurten mallien koulutukseen, päättelyyn ja tieteelliseen laskentaan. Operaattorin mukaan Prefill–Decode erottelu sekä ohjelmisto ja laitteistoviritys nostivat token tuoton yli kymmenkertaiseksi ja laskivat miljoonan tokenin hinnan noin 100 yuanista alle 10 yuaniin.
What should I do next in practice?
Toisessa vaiheessa käyttöön on tarkoitus ottaa Xuyu TPU ja kasvattaa kokonaislaskentateho yli 10 000 PFLOPSiin.