China Telecom wil AI-kosten drukken met een Chinees TPU-cluster van 1.024 chips

De opmerkelijkste kant van het TPU-cluster in Hangzhou is niet zozeer het getal van 1.024 chips, maar de software- en infrastructuurlaag eromheen. China Telecom in Hangzhou bouwde het systeem samen met ZTE en chipmaker Zhonghao Xinying. De eerste fase koppelt eerste-generatie Chana-TPU’s aan het Taize-platform, servers, clusternetwerk en planningssoftware. Het resultaat is een systeem van 400 PFLOPS voor het trainen van grote taalmodellen, AI-inferentie en wetenschappelijke berekeningen. Het project geldt volgens de berichtgeving als China Telecoms eerste grootschalige inzet van een binnenlands TPU-cluster en als Oost-China’s eerste binnenlandse TPU-cluster op duizendkaartsschaal. 1720

Wat er precies is neergezet

De eerste fase gebruikt 1.024 Chana-TPU’s op het Taize-platform van Zhonghao Xinying. De partners presenteren de installatie als een binnenlands opgebouwde keten: van AI-versneller en serverhardware tot clusternetwerk en rekencapaciteitsplanning. 1718

Dat onderscheid is belangrijk. Een groot AI-cluster bestaat niet simpelweg uit veel versnellers in racks. De praktisch bruikbare prestaties hangen ook af van de samenhang tussen servers, netwerkfabric, modelsoftware en de scheduler die taken over de machines verdeelt. In Hangzhou is het doel daarom nadrukkelijk een operationele rekendienst, en niet alleen een demonstratie van een chip. 18

Waarom het scheiden van prefill en decode centraal staat

Inferentie met grote taalmodellen kent grofweg twee fasen:

• Prefill verwerkt de prompt van de gebruiker en bouwt de werkcontext van het model op.
• Decode genereert daarna de uitvoertokens, één voor één.

Die fasen belasten hardware verschillend. Door ze los van elkaar in te plannen, kan een platform capaciteit afzonderlijk toewijzen aan promptverwerking en tokengeneratie, in plaats van beide typen werk op dezelfde pool hardware volgens één planning te laten draaien. In een productieomgeving vergt dit ook clusterorkestratie en een passende netwerkconfiguratie, zoals implementatiehandleidingen voor gescheiden Prefill-Decode-diensten met SGLang laten zien. 2

Hangzhou Telecom meldt dat maanden van gezamenlijke optimalisatie van hard- en software — waaronder modelversies, operators, serverconfiguraties, netwerkbandbreedte en scheduling — de tokenoutputefficiëntie met meer dan een factor tien hebben verhoogd ten opzichte van het begin van het jaar. De organisatie rapporteerde ook dat de kosten per miljoen tokens daalden van ongeveer ¥100 naar minder dan ¥10. 911

Die cijfers moeten echter worden gelezen als door de exploitant gemelde resultaten uit een specifieke uitrol, niet als universele TPU-benchmark. De beschikbare berichtgeving vermeldt niet welke modellen zijn gebruikt, met welke precisie en batchgroottes is gewerkt, wat het verkeerspatroon en de bezettingsgraad waren, of hoe de kosten precies zijn berekend. Daardoor zijn de besparingen niet onafhankelijk te reproduceren of eerlijk naast een ander inferentieplatform te leggen.

Waarom de samenwerking van drie partijen ertoe doet

Het project brengt drie doorgaans afzonderlijk beoordeelde lagen samen:

• Zhonghao Xinying levert de Chana-TPU en het Taize-platform. Volgens de berichtgeving heeft Chana een zelfontwikkelde IP-kern, instructieset en rekenplatform. 1819
• ZTE werkt mee aan de integratie van communicatienetwerken, servers en clusterinfrastructuur. 18
• China Telecom Hangzhou biedt de operationele omgeving om rekenkracht op schaal aan te bieden en te beheren.

Voor een binnenlandse AI-chip is zo’n telecomomgeving relevant, omdat de proef daarmee verschuift van piekspecificaties op chipniveau naar de levering van een dienst. Planning, modelaanpassing, netwerkgedrag en dagelijks beheer bepalen uiteindelijk of klanten voorspelbare inferentiecapaciteit krijgen. De architectuur omvat expliciet rekenbronnen, scheduling, modelaanpassing, operationeel beheer en toepassingen per sector. 18

De kans — en de moeilijkere softwareopgave

Een TPU is een tensorgerichte AI-versneller. De potentiële kracht zit niet uitsluitend in hoge FLOPS-waarden, maar in efficiënte uitvoering van matrixintensieve taken, die dominant zijn bij training en inferentie van grote modellen. Op clusterniveau zijn de prestaties echter onlosmakelijk verbonden met interconnects, geheugengedrag, collectieve communicatie, planning, betrouwbaarheid en compatibiliteit met modelsoftware.

Een binnenlands alternatief moet dus meer bewijzen dan dat het silicium functioneert. Modellen, inferentie-engines, operators, quantisatiemethoden en klantworkflows moeten stabiel op de nieuwe stack kunnen draaien. De beschikbare bronnen onderbouwen de installatie in Hangzhou en de geplande uitbreiding, maar tonen geen brede gelijkwaardigheid met de gevestigde GPU-softwareecosystemen voor uiteenlopende modellen en frameworks aan.

Tweede fase: Xuyu en een doel boven 10.000 PFLOPS

De partners plannen een tweede fase met Zhonghao Xinyings tweede-generatie-TPU Xuyu, waarmee de totale geplande rekenkracht boven 10.000 PFLOPS moet uitkomen. 1719

Volgens het bedrijf levert Xuyu 896 TFLOPS aan mixed-precision floating-point-prestaties en 1.792 TOPS voor 8-bitsinferentie, bij een nominaal verbruik van 600 watt. Zhonghao Xinying stelt verder dat Xuyu ongeveer driemaal de prestaties van Chana biedt en bij vergelijkbare prestaties 50% minder stroom verbruikt dan conventionele chips. Dit zijn door het bedrijf gerapporteerde specificaties. 1920

Op systeemniveau is Xuyu volgens de openbare presentatie ontworpen voor supernodes met maximaal 2.048 chips via volledig optische interconnects. 20

Wat het cluster in Hangzhou wél aantoont

Het project laat zien dat er wordt gewerkt aan een binnenlandse AI-rekenstack die loopt van chip tot platform: versneller, instructieset, servers, netwerk, scheduling en dienstverlening. 1819 De belangrijkste test volgt pas in de praktijk: kan die stack uiteenlopende productieworkloads langdurig ondersteunen met compatibele software, voorspelbare prestaties en transparante kosten?

De uitrol van 400 PFLOPS en de geplande uitbreiding met Xuyu worden breed gemeld. De meest in het oog springende claims — meer dan tien keer hogere tokenoutputefficiëntie en minder dan ¥10 per miljoen tokens — zijn denkbare uitkomsten van een beter benut inferentiesysteem, maar blijven uitspraken van de exploitant en projectpartners zolang benchmarkmethoden en workloadgegevens niet openbaar zijn gemaakt. 911