Di Balik Klaster 1.024 TPU Lokal China Telecom di Hangzhou

Yang paling penting dari peluncuran di Hangzhou bukan hanya angka 1.024 chip. China Telecom cabang Hangzhou, ZTE, dan Zhonghao Xinying menggabungkan TPU Chana generasi pertama dengan platform komputasi Taize, server, jaringan klaster, serta perangkat lunak penjadwalan menjadi sistem 400 PFLOPS untuk pelatihan model besar, inferensi AI, dan komputasi ilmiah. Proyek ini dilaporkan sebagai penerapan klaster TPU domestik berskala besar pertama di dalam sistem China Telecom, sekaligus klaster TPU domestik kelas seribu kartu pertama di China Timur. 1720

Apa yang sebenarnya dipasang?

Tahap pertama memakai 1.024 TPU Chana pada platform Taize milik Zhonghao Xinying. Para pihak menyatakan tumpukan tersebut dibangun secara domestik, dari akselerator AI, perangkat keras server, jaringan klaster, hingga penjadwalan komputasi. 1718

Pembedaan ini penting karena klaster AI bukan sekadar kumpulan chip dalam rak server. Performa yang benar-benar bisa dipakai pelanggan bergantung pada kerja bersama server, fabric jaringan, perangkat lunak model, dan scheduler. Tujuan proyek ini adalah menjadikan TPU sebagai layanan kapasitas komputasi yang dapat dioperasikan, bukan sekadar demonstrasi chip tunggal. 18

Mengapa pemisahan prefill dan decode menjadi kunci biaya?

Dalam inferensi model bahasa besar, ada dua tahap dengan karakter beban kerja yang berbeda:

• Prefill memproses prompt pengguna dan membangun konteks kerja model.
• Decode menghasilkan token keluaran satu demi satu.

Memisahkan keduanya memungkinkan platform mengalokasikan dan menjadwalkan sumber daya untuk pemrosesan prompt serta pembuatan token secara terpisah. Dengan begitu, satu kumpulan perangkat tidak harus menangani dua jenis beban kerja itu dalam satu skema penjadwalan yang sama. Implementasi produksi juga membutuhkan orkestrasi klaster dan konfigurasi jaringan, seperti terlihat pada panduan penerapan layanan SGLang dengan pemisahan Prefill–Decode. 2

Hangzhou Telecom menyatakan bahwa optimasi perangkat lunak dan perangkat keras selama beberapa bulan—mencakup versi model, operator, konfigurasi server, bandwidth jaringan, dan penjadwalan—menaikkan efisiensi keluaran token lebih dari 10 kali dibandingkan awal tahun. Mereka juga melaporkan biaya per satu juta token turun dari sekitar ¥100 menjadi di bawah ¥10. 911

Angka itu perlu dibaca sebagai hasil yang dilaporkan operator, bukan tolok ukur TPU yang berlaku universal. Laporan yang tersedia tidak mengungkap campuran model, presisi komputasi, ukuran batch, pola lalu lintas, tingkat utilisasi, maupun metode penghitungan biaya. Karena itu, penghematan tersebut belum dapat direproduksi atau dibandingkan secara independen dengan platform inferensi lain.

Mengapa model kerja sama tiga pihak ini penting?

Klaster tersebut menyatukan tiga kapabilitas yang kerap dinilai secara terpisah:

• Zhonghao Xinying menyediakan TPU Chana dan platform Taize. Chana disebut memiliki inti IP, set instruksi, dan platform komputasi yang dikembangkan sendiri. 1819
• ZTE terlibat dalam pembangunan yang mencakup jaringan komunikasi, integrasi server, dan infrastruktur klaster. 18
• China Telecom Hangzhou menyediakan lingkungan operasional untuk menghadirkan serta mengelola kapasitas komputasi dalam skala besar.

Bagi chip AI domestik, lingkungan operator telekomunikasi seperti ini bernilai karena pengujiannya bergeser dari spesifikasi puncak chip ke kemampuan menyediakan layanan: penjadwalan, adaptasi model, perilaku jaringan, dan operasi berkelanjutan akan menentukan apakah pelanggan memperoleh kapasitas inferensi yang konsisten. Arsitektur proyek ini secara eksplisit mencakup sumber daya komputasi, penjadwalan, adaptasi model, manajemen operasi, dan aplikasi industri. 18

Potensi TPU, sekaligus tantangan perangkat lunak yang lebih berat

TPU adalah akselerator AI yang berorientasi pada operasi tensor. Nilainya tidak hanya terletak pada angka FLOPS puncak, melainkan pada kemampuan menjalankan komputasi matriks intensif yang umum pada pelatihan dan inferensi model besar secara efisien.

Namun, pada skala klaster, performa akselerator tidak terpisahkan dari interkoneksi, perilaku memori, komunikasi kolektif antarchip, penjadwalan, keandalan, dan kompatibilitas perangkat lunak model. Karena itu, alternatif domestik harus membuktikan lebih dari sekadar bahwa silikonnya berfungsi. Model, mesin inferensi, operator, metode kuantisasi, dan alur kerja pelanggan harus dapat berjalan stabil pada tumpukan baru tersebut.

Pelaporan yang tersedia mendukung keberadaan penerapan Hangzhou serta rencana ekspansinya, tetapi belum membuktikan kesetaraan luas dengan ekosistem perangkat lunak GPU arus utama di berbagai model dan framework.

Tahap kedua: Xuyu dan target 10.000 PFLOPS

Para mitra merencanakan tahap kedua dengan TPU Xuyu generasi kedua dari Zhonghao Xinying. Total kapasitas komputasi yang direncanakan disebut akan melampaui 10.000 PFLOPS. 1719

Menurut spesifikasi yang dilaporkan perusahaan, Xuyu menawarkan performa floating-point presisi campuran 896 TFLOPS dan 1.792 TOPS untuk inferensi 8-bit, dengan daya terukur 600 W. Perusahaan juga mengklaim Xuyu memiliki performa sekitar tiga kali Chana serta konsumsi daya 50% lebih rendah dibanding chip konvensional pada tingkat performa yang sebanding. Ini adalah spesifikasi dan klaim dari perusahaan. 1920

Pada tingkat sistem, presentasi publik perusahaan menyebut Xuyu dirancang untuk supernode dengan hingga 2.048 chip yang terhubung melalui interkoneksi optik penuh. 20

Apa yang sudah dibuktikan klaster Hangzhou?

Proyek ini menunjukkan upaya membangun tumpukan komputasi AI domestik dari chip hingga platform: akselerator, set instruksi, server, jaringan, penjadwalan, dan operasi layanan. 1819 Uji yang paling bermakna berikutnya adalah apakah tumpukan tersebut dapat menopang beragam beban kerja produksi, dengan perangkat lunak yang kompatibel, kinerja yang dapat diprediksi, dan ekonomi layanan yang transparan.

Penerapan 400 PFLOPS dan rencana ekspansi berbasis Xuyu telah banyak dilaporkan. Namun, klaim paling mencolok—efisiensi keluaran token naik lebih dari 10 kali dan biaya di bawah ¥10 per satu juta token—tetap merupakan klaim operator serta peserta proyek hingga metodologi benchmark dan rincian beban kerja dipublikasikan. 911