Čína nasadila 1 024 domácích TPU. Skutečný test ale není ve výkonu, nýbrž v ceně AI odpovědí

Nejdůležitější na nasazení v čínském Chang-čou není samotné číslo 1 024 čipů. Podstatné je, že China Telecom v Chang-čou, ZTE a Zhonghao Xinying spojily domácí TPU první generace Chana s platformou Taize, servery, síťovou infrastrukturou klastru a plánováním úloh do systému o výkonu 400 PFLOPS pro trénování velkých modelů, AI inferenci a vědecké výpočty. Projekt je popisován jako první rozsáhlé nasazení domácího TPU klastru v rámci China Telecom a zároveň první domácí tisícikaretní TPU klaster ve východní Číně. 1720

Nejde jen o čipy v racku

První fáze využívá 1 024 TPU Chana na výpočetní platformě Taize společnosti Zhonghao Xinying. Partneři uvádějí domácí původ napříč vrstvami akcelerátoru, serverového hardwaru, klastrové sítě i plánování výpočtů. 1718

To je zásadní rozdíl oproti pouhé demonstraci čipu. U velkého AI klastru neurčuje použitelný výkon jen počet akcelerátorů: záleží také na souhře serverů, síťové fabric, modelového softwaru a plánovače úloh. Cílem projektu je podle popisu proměnit TPU v provozovatelnou výpočetní službu, ne jen ve samostatně předváděný čip. 18

Proč se mluví o oddělení Prefill a Decode

Inference velkých jazykových modelů má dvě rozdílné fáze:

• Prefill zpracuje vstup uživatele a vytvoří pracovní kontext modelu.
• Decode následně generuje odpověď token po tokenu.

Každá fáze zatěžuje infrastrukturu jinak. Jejich oddělení umožňuje přidělovat a plánovat kapacitu pro zpracování promptů a pro generování tokenů nezávisle, namísto toho, aby obě úlohy soutěžily o stejný pool zařízení v jediném harmonogramu. V produkčním provozu ale takové řešení vyžaduje koordinaci klastru a odpovídající konfiguraci sítě, jak ukazuje dokumentace k nasazení služeb SGLang s oddělenými fázemi Prefill–Decode. 2

Hangzhou Telecom uvedl, že po několika měsících softwarového a hardwarového ladění — od verzí modelů a operátorů přes konfigurace serverů a šířku síťového pásma až po plánování — vzrostla efektivita výstupu tokenů oproti začátku roku více než desetkrát. Náklad na milion tokenů měl současně klesnout přibližně ze 100 jüanů na méně než 10 jüanů. 911

Tato čísla je však potřeba číst jako výsledky uváděné provozovatelem, nikoli jako univerzální benchmark TPU. Dostupné zprávy nepopisují skladbu modelů, použitou přesnost, velikosti dávek, charakter provozu, míru využití ani metodiku výpočtu nákladů. Úspory proto nelze nezávisle zopakovat ani přímo porovnat s jinou inferenční platformou.

Proč je důležitá spolupráce tří firem

Projekt propojuje tři vrstvy, které se často hodnotí odděleně:

• Zhonghao Xinying dodává TPU Chana a platformu Taize. Podle dostupných informací má Chana vlastní IP jádro, instrukční sadu i výpočetní platformu. 1819
• ZTE se podílí na výstavbě zahrnující komunikační sítě, integraci serverů a infrastrukturu klastru. 18
• China Telecom Hangzhou poskytuje provozní prostředí pro dodávku a správu výpočetní kapacity ve velkém měřítku.

Právě prostředí telekomunikačního operátora je pro domácí AI čip praktickým testem: rozhoduje nejen špičková specifikace křemíku, ale i plánování úloh, přizpůsobení modelů, chování sítě a dlouhodobý provoz. Architektura projektu výslovně zahrnuje výpočetní zdroje, plánování, adaptaci modelů, provozní správu i oborové aplikace. 18

TPU slibují efektivitu, software zůstává těžší částí

TPU je tensorově orientovaný AI akcelerátor. Jeho přínos nespočívá jen v maximálním počtu operací za sekundu, ale v efektivním provádění maticově náročných úloh typických pro trénování a inferenci velkých modelů.

Ve velkém klastru však výkon akcelerátoru nelze oddělit od propojení čipů, práce s pamětí, kolektivní komunikace, plánování, spolehlivosti a kompatibility modelového softwaru. Domácí alternativa tak musí dokázat víc než funkční hardware: modely, inferenční enginy, operátory, kvantizační postupy a pracovní postupy zákazníků musejí na novém stacku fungovat spolehlivě.

Dodané zdroje potvrzují nasazení v Chang-čou a plánované rozšíření, ale nedokládají širokou srovnatelnost s hlavními GPU ekosystémy napříč modely a frameworky.

Druhá fáze: Xuyu a cíl přes 10 000 PFLOPS

Ve druhé fázi partneři plánují využít TPU druhé generace Xuyu od Zhonghao Xinying. Celkový plánovaný výkon má přesáhnout 10 000 PFLOPS. 1719

Společnost uvádí pro Xuyu výkon 896 TFLOPS ve smíšené přesnosti a 1 792 TOPS pro 8bitovou inferenci při jmenovité spotřebě 600 W. Dále deklaruje přibližně trojnásobný výkon proti Chana a o 50 % nižší spotřebu než u konvenčních čipů při srovnatelném výkonu. Jde o parametry uváděné samotnou společností. 1920

Podle veřejné prezentace má být Xuyu určen také pro superuzly s až 2 048 čipy propojenými celooptickou sítí. 20

Co klaster zatím skutečně dokazuje

Projekt v Chang-čou ukazuje pokus sestavit domácí AI výpočetní stack od čipu po službu: akcelerátor, instrukční sadu, servery, síť, plánování i provozní řízení. 1819

Rozhodující bude, zda takový stack dlouhodobě zvládne rozmanité produkční zátěže s kompatibilním softwarem, předvídatelným výkonem a transparentní ekonomikou. Nasazení o výkonu 400 PFLOPS i plán rozšíření s Xuyu jsou široce uváděny. Výraznější tvrzení — více než desetinásobná efektivita výstupu tokenů a cena pod 10 jüanů za milion tokenů — zůstávají prozatím tvrzeními provozovatele a účastníků projektu, dokud nebudou zveřejněny metodiky benchmarků a podrobnosti o zátěži. 911