AnswersPublished17 sources
Kluster TPU 1,024 Cip China Telecom di Hangzhou: Usaha Turunkan Kos Inferens AI
China Telecom Hangzhou, ZTE dan Zhonghao Xinying telah melaksanakan kluster 1,024 cip TPU Chana berkapasiti 400 PFLOPS pada platform Taize. Pihak pengendali melaporkan kecekapan output token meningkat lebih 10 kali ganda, manakala kos bagi sejuta token turun daripada kira kira ¥100 kepada bawah ¥10 selepas penalaan...
Diterbitkan olehDisunting dengan GPT-5.6 TerraImej dijana dengan GPT Image 2
Research answer
Key takeaways
- China Telecom Hangzhou, ZTE dan Zhonghao Xinying telah melaksanakan kluster 1,024 cip TPU Chana berkapasiti 400 PFLOPS pada platform Taize.
- Pihak pengendali melaporkan kecekapan output token meningkat lebih 10 kali ganda, manakala kos bagi sejuta token turun daripada kira kira ¥100 kepada bawah ¥10 selepas penalaan sistem.
- Fasa kedua dirancang menggunakan TPU Xuyu generasi kedua, dengan sasaran jumlah kapasiti melebihi 10,000 PFLOPS.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How did China Telecom’s Hangzhou branch, ZTE, and Zhonghao Xinying deploy China’s first domestic 1,024-chip Chana TPU cluster delivering 400. Article summary: China Telecom’s Hangzhou branch, ZTE, and Zhonghao Xinying built the first phase as a production-oriented, fully domestic TPU stack rather than merely installing accelerators: 1,024 first-generation Chana TPUs were integ. Topic tags: general, academic, general web, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
Nilai penting pelaksanaan di Hangzhou bukan semata-mata pada angka 1,024 cip, tetapi pada integrasi di sekeliling cip itu. Cawangan China Telecom di Hangzhou, ZTE dan Zhonghao Xinying menggabungkan TPU Chana generasi pertama dengan platform pengkomputeran Taize, pelayan, rangkaian kluster serta sistem penjadualan untuk membentuk sistem 400 PFLOPS bagi latihan model besar, inferens AI dan pengkomputeran saintifik. Projek ini dilaporkan sebagai pelaksanaan kluster TPU tempatan berskala besar pertama dalam sistem China Telecom, serta kluster TPU tempatan bertaraf seribu kad pertama di China Timur. 17
20
Apa yang telah dipasang
Fasa pertama menggunakan 1,024 TPU Chana pada platform Taize milik Zhonghao Xinying. Rakan projek menyatakan sistem itu dibina secara domestik merentas lapisan pemecut AI, perkakasan pelayan, rangkaian kluster dan penjadualan sumber pengkomputeran. 17
18
Perbezaan ini penting kerana kluster AI berskala besar bukan hanya himpunan cip pemecut dalam rak pelayan. Prestasi yang benar-benar boleh digunakan bergantung pada cara pelayan, fabrik rangkaian, perisian model dan penjadual berfungsi bersama. Matlamat projek ini adalah menjadikan TPU sebagai perkhidmatan pengkomputeran yang boleh dikendalikan, bukannya sekadar demonstrasi cip tunggal. 18
Mengapa pemisahan Prefill–Decode menjadi asas dakwaan kos
Inferens model bahasa besar lazimnya melalui dua peringkat berbeza:
- Prefill memproses arahan atau soalan pengguna dan membina konteks kerja model.
- Decode menjana token jawapan satu demi satu.
Kedua-dua peringkat ini mempunyai keperluan sumber yang berlainan. Dengan memisahkannya, platform inferens boleh memperuntukkan serta menjadualkan kapasiti pemprosesan arahan dan penjanaan token secara berasingan, berbanding memaksa satu kumpulan peranti menanggung kedua-dua beban kerja dalam satu jadual yang sama. Dalam pelaksanaan sebenar, pendekatan ini juga memerlukan orkestrasi kluster dan konfigurasi rangkaian, seperti yang ditunjukkan dalam panduan pelaksanaan perkhidmatan SGLang dengan pemisahan Prefill–Decode. 2
Hangzhou Telecom berkata penalaan perisian dan perkakasan selama beberapa bulan—meliputi versi model, operator, konfigurasi pelayan, lebar jalur rangkaian dan kaedah penjadualan—meningkatkan kecekapan output token lebih 10 kali ganda berbanding awal tahun. Ia turut melaporkan kos bagi sejuta token menurun daripada kira-kira ¥100 kepada bawah ¥10. 9
11
Namun, angka ini wajar dibaca sebagai hasil pelaksanaan yang dilaporkan oleh pengendali, bukannya penanda aras TPU sejagat. Laporan yang tersedia tidak mendedahkan campuran model, ketepatan pengiraan, saiz kelompok, corak trafik, kadar penggunaan atau kaedah pengiraan kos. Justeru, penjimatan tersebut belum boleh dihasilkan semula atau dibandingkan secara bebas dengan platform inferens lain.
Mengapa kerjasama tiga pihak ini penting
Kluster tersebut menghubungkan tiga keupayaan yang selalunya dinilai secara berasingan:
- Zhonghao Xinying membekalkan TPU Chana dan platform Taize. Laporan menyatakan Chana mempunyai teras IP, set arahan dan platform pengkomputeran yang dibangunkan sendiri.
18
19
- ZTE terlibat dalam pembinaan bersama yang merangkumi rangkaian komunikasi, integrasi pelayan dan infrastruktur kluster.
- China Telecom Hangzhou menyediakan persekitaran operasi untuk menyampaikan serta mengurus kapasiti pengkomputeran pada skala besar.
Bagi cip AI tempatan, persekitaran pengendali telekomunikasi seperti ini berguna kerana ujian beralih daripada spesifikasi puncak cip kepada penyampaian perkhidmatan sebenar. Penjadualan, penyesuaian model, tingkah laku rangkaian dan operasi berterusan semuanya menentukan sama ada pelanggan menerima kapasiti inferens yang konsisten. Seni bina projek ini secara jelas merangkumi sumber pengkomputeran, penjadualan, penyesuaian model, pengurusan operasi dan aplikasi industri. 18
Peluang besar, tetapi cabaran perisian lebih sukar
TPU ialah pemecut AI yang dioptimumkan untuk operasi tensor. Kelebihannya bukan sekadar prestasi FLOPS puncak, tetapi keupayaan melaksanakan beban kerja matriks yang berat—ciri lazim dalam latihan dan inferens model besar—dengan cekap. Namun pada skala kluster, prestasi pemecut tidak boleh dipisahkan daripada interkoneksi, tingkah laku memori, komunikasi kolektif, penjadualan, kebolehpercayaan dan keserasian perisian model.
Oleh itu, alternatif tempatan perlu membuktikan lebih daripada sekadar silikon cip berfungsi. Model, enjin inferens, operator, kaedah kuantisasi dan aliran kerja pelanggan mesti dapat berjalan dengan stabil pada timbunan teknologi baharu itu. Laporan yang dibekalkan menyokong pelaksanaan Hangzhou serta rancangan pengembangannya, tetapi tidak membuktikan kesetaraan menyeluruh dengan ekosistem perisian GPU arus perdana merentas model dan rangka kerja.
Fasa kedua: Xuyu dan sasaran 10,000 PFLOPS
Rakan projek merancang fasa kedua menggunakan TPU Xuyu generasi kedua daripada Zhonghao Xinying, dengan jumlah kapasiti pengkomputeran dirancang melebihi 10,000 PFLOPS. 17
19
Menurut syarikat itu, Xuyu menawarkan 896 TFLOPS prestasi titik terapung berketepatan campuran dan 1,792 TOPS untuk inferens 8-bit, dengan kuasa terkadar 600 W. Syarikat itu juga mendakwa Xuyu mempunyai kira-kira tiga kali prestasi Chana dan menggunakan 50% kurang kuasa berbanding cip konvensional pada prestasi setara. Ini ialah spesifikasi yang dilaporkan oleh syarikat. 19
20
Pada peringkat sistem, Xuyu direka untuk supernod dengan sehingga 2,048 cip disambungkan melalui interkoneksi optik sepenuhnya, menurut pembentangan awam syarikat. 20
Apa yang sebenarnya dibuktikan oleh kluster Hangzhou
Projek ini menunjukkan usaha menyusun timbunan pengkomputeran AI tempatan dari cip hingga platform: pemecut, set arahan, pelayan, rangkaian, penjadualan dan operasi perkhidmatan. 18
19 Ujian yang lebih bermakna ialah sama ada timbunan itu mampu menyokong pelbagai beban kerja pengeluaran secara berterusan, dengan perisian yang serasi, prestasi yang boleh diramal dan ekonomi penggunaan yang telus.
Pelaksanaan 400 PFLOPS dan rancangan peluasan menggunakan Xuyu telah dilaporkan secara meluas. Namun, dakwaan yang lebih menonjol—kecekapan output token meningkat lebih 10 kali ganda dan kos bawah ¥10 bagi sejuta token—masih merupakan dakwaan daripada pengendali serta peserta projek selagi kaedah penandaarasan dan butiran beban kerja tidak didedahkan. 9
11
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Kluster TPU 1,024 Cip China Telecom di Hangzhou: Usaha Turunkan Kos Inferens AI"?
China Telecom Hangzhou, ZTE dan Zhonghao Xinying telah melaksanakan kluster 1,024 cip TPU Chana berkapasiti 400 PFLOPS pada platform Taize.
What are the key points to validate first?
China Telecom Hangzhou, ZTE dan Zhonghao Xinying telah melaksanakan kluster 1,024 cip TPU Chana berkapasiti 400 PFLOPS pada platform Taize. Pihak pengendali melaporkan kecekapan output token meningkat lebih 10 kali ganda, manakala kos bagi sejuta token turun daripada kira kira ¥100 kepada bawah ¥10 selepas penalaan sistem.
What should I do next in practice?
Fasa kedua dirancang menggunakan TPU Xuyu generasi kedua, dengan sasaran jumlah kapasiti melebihi 10,000 PFLOPS.