Inspur MetaBrain SD200 Ultra: 128 Chip untuk Kimi K3, tetapi Seberapa Cepat di Penggunaan Nyata?

Inspur Information memperkenalkan MetaBrain SD200 Ultra pada konferensi komputasi AI AICC2026 sebagai supernode—sistem yang menghubungkan banyak akselerator secara erat—untuk model berukuran sangat besar dan beban kerja agen AI yang peka terhadap latensi. Bersamaan dengannya, Inspur memperkenalkan MetaBrain HC2000 dengan sasaran berbeda: meningkatkan kapasitas produksi token saat inferensi, yakni ketika model menghasilkan jawaban. Angka performa yang diumumkan untuk kedua produk berasal dari Inspur, bukan hasil uji independen. 31820

Spesifikasi dan arti klaim kapasitasnya

SD200 Ultra menggunakan arsitektur 3D Hyper Mesh untuk menghubungkan 128 akselerator AI buatan dalam negeri Tiongkok. Menurut Inspur, sistem ini menyediakan 8 TB memori akselerator dengan pengalamatan terpadu dan 64 TB memori sistem. Perusahaan menyatakan satu sistem dapat menjalankan Kimi K3 berparameter 2,8 triliun serta mendukung model hingga 10 triliun parameter. Angka 10 triliun menunjukkan kapasitas yang diklaim, bukan bukti kecepatan inferensi pada ukuran model tersebut. 317

Untuk Kimi K3, Inspur melaporkan waktu pembuatan kurang dari 5,85 milidetik per token, setara dengan sekitar 170 token per detik untuk satu pengguna. Perusahaan menyebutnya lima kali rata-rata industri, tetapi rincian pengujian yang tersedia tidak cukup untuk memastikan perbandingannya setara. Waktu menghasilkan tiap token juga berbeda dari waktu hingga token pertama muncul maupun waktu tunggu sampai seluruh jawaban selesai. 13

Mengapa Inspur menekankan koneksi antarchip?

Menurut Inspur, pengalamatan memori terpadu dan komunikasi berbasis memori mengurangi perpindahan data antarchip. Pendekatan memori simetrisnya memungkinkan sebuah akselerator mengakses langsung memori akselerator lain. Perusahaan melaporkan latensi komunikasi serendah 0,69 mikrodetik dan waktu komunikasi AllReduce turun 3,5 kali lipat. Keduanya adalah ukuran komunikasi internal, bukan waktu respons aplikasi yang dirasakan pengguna. 217

Inspur juga menyatakan bahwa, khusus untuk inferensi Kimi K3, operasi yang terkait dengan KDA, Gated MLA, dan MoE digabung menjadi operasi komputasi-dan-komunikasi yang lebih besar. Menurut perusahaan, jumlah operator berkurang sekitar sepuluh kali lipat dan performa inferensi meningkat lebih dari tiga kali lipat. Hasil ini harus dibaca sebagai klaim untuk beban kerja tertentu, bukan jaminan peningkatan yang sama pada model lain. 1719

SD200 Ultra atau HC2000: apa yang perlu diperiksa?

HC2000 diposisikan untuk inferensi berkapasitas tinggi: menghasilkan lebih banyak token pada beban kerja yang sebanding. Sistem ini menggabungkan rak berpendingin cairan, arsitektur DirectCom 2.0, dan perangkat lunak inferensi MCIS. Inspur mengklaim jumlah token yang dihasilkan naik sepuluh kali lipat untuk investasi yang sama. Itu adalah klaim kapasitas dan keekonomian, bukan pernyataan bahwa HC2000 menyamai latensi per token untuk satu pengguna yang dilaporkan pada SD200 Ultra. Pembeli perlu meminta kejelasan sistem pembanding, beban kerja, dan komponen biaya yang dihitung. 1820

Laporan yang tersedia menyebut akselerator SD200 Ultra sebagai chip buatan dalam negeri Tiongkok, tetapi tidak mengidentifikasi pemasoknya. Sebelum membeli salah satu sistem, calon pembeli sebaiknya meminta identitas chip dan rincian dukungan perangkat lunak, lalu menguji model yang akan mereka pakai dengan metode yang dapat diulang. Tetapkan presisi komputasi, panjang konteks, dan jumlah pengguna serentak; ukur waktu hingga token pertama, laju token yang berkelanjutan, konsumsi daya, serta biaya total. Tanpa kondisi tersebut, angka peluncuran belum dapat diandalkan untuk memperkirakan performa dalam penerapan nyata. 1318