Cerebras CS-4 vs Nvidia: Arti Sebenarnya di Balik Klaim Inferensi 30 Kali Lebih Cepat

WSE-3 Turbo dijelaskan sebagai versi WSE-3 yang di-overclock. Berdasarkan laporan yang tersedia, chip ini tetap menggunakan 900.000 inti, 44 GB SRAM, dan proses fabrikasi 5 nanometer, tetapi bekerja pada performa operasi yang lebih tinggi.

Spesifikasi utama WSE-3 Turbo dan CS-4

Cerebras dan laporan peluncuran mencantumkan sejumlah angka utama berikut:

• Tiga prosesor WSE-3 Turbo per rak
• 750 petaflop komputasi AI per rak
• 129,6 PB/s bandwidth memori per rak
• 7,2 Tb/s bandwidth I/O per rak
• 900.000 inti dan 44 GB SRAM per prosesor
• Kecepatan hingga dua kali lipat dibandingkan generasi sebelumnya per wafer, menurut Cerebras

Perbandingan The Register menyebut WSE-3 Turbo meningkatkan komputasi FP16 sparse per wafer dari 125 menjadi 250 petaflop, bandwidth memori dari 21,6 menjadi 43,2 PB/s, serta bandwidth I/O dari 1,2 menjadi 2,4 Tb/s. Sumber yang sama mencatat kemampuan FP16 dense sebesar 25 petaflop untuk prosesor Turbo.

Angka-angka tersebut menggambarkan kemampuan teoretis atau kemampuan yang dilaporkan vendor, bukan ukuran universal untuk performa aplikasi. Nilai FLOPS puncak sebuah rak tidak otomatis berubah menjadi jumlah token per detik yang sama untuk setiap model dan konfigurasi layanan.

Mengapa Cerebras menilai CS-4 bisa lebih cepat daripada klaster GPU?

Pada sistem berbasis GPU, pekerjaan model biasanya dibagi ke banyak prosesor terpisah. Pendekatan ini dapat berkembang dengan baik, tetapi memerlukan perpindahan data antarchip serta koordinasi melalui lapisan memori dan jaringan.

Strategi wafer-scale Cerebras menempatkan sangat banyak inti komputasi dan jaringan SRAM berkapasitas besar pada satu prosesor. Cerebras mengatakan WSE-3 menggunakan SRAM langsung di dalam chip, bukan terutama mengandalkan HBM eksternal yang umum digunakan GPU. Tujuannya adalah mengurangi beban komunikasi saat proses decoding berlangsung—yakni ketika model menghasilkan token satu per satu.

Karena itu, CS-4 paling menarik untuk kecepatan respons per pengguna, terutama pada aplikasi interaktif. Ini merupakan tantangan yang lebih spesifik terhadap Nvidia, bukan bukti bahwa sistem wafer-scale unggul untuk semua jenis beban kerja AI. Perbandingan dapat berubah berdasarkan kebutuhan pelatihan, inferensi batch berkapasitas tinggi, ukuran model, kapasitas memori, dan kompatibilitas perangkat lunak.

Apa arti klaim “hingga 30 kali lebih cepat”?

Cerebras memasarkan CS-4 dengan klaim inferensi hingga 30 kali lebih cepat daripada sistem GPU. Liputan peluncurannya menjelaskan bahwa perbandingan tersebut secara khusus merujuk pada jumlah token per detik per pengguna, bukan peningkatan 30 kali untuk semua jenis beban kerja.

Perbedaan ini penting. Perbandingan akselerator yang dapat dipercaya setidaknya perlu menjelaskan:

• Model dan jumlah parameternya
• Sistem GPU yang dijadikan pembanding
• Ukuran batch dan jumlah pengguna yang aktif bersamaan
• Panjang konteks input
• Panjang keluaran
• Presisi dan kuantisasi
• Apakah pengukuran mencakup prefill, decoding, atau keduanya
• Konsumsi daya, perangkat keras, dan biaya operasional

Sumber yang tersedia belum memberikan seluruh detail tersebut dalam pengujian yang dapat direproduksi dan diaudit secara independen. Karena itu, angka 30 kali sebaiknya dipahami sebagai klaim Cerebras yang berlaku pada kondisi layanan tertentu, bukan jaminan keunggulan atas setiap penerapan Nvidia.

Catatan penting soal angka FLOPS dan sparsity

Angka komputasi AI puncak bisa menyesatkan jika menggunakan operasi sparse. Salah satu analisis mencatat bahwa angka 125 petaflop FP16 WSE-3 merupakan angka sparse yang didasarkan pada asumsi sparsity tidak terstruktur 8:1. Analisis tersebut memperkirakan throughput FP16 dense sekitar 15,625 petaflop.

Hal serupa perlu diperhatikan saat membaca angka 250 petaflop sparse dan 25 petaflop dense untuk WSE-3 Turbo. Performa sparse hanya berguna apabila model dan perangkat lunak mampu memanfaatkan pola sparsity tersebut secara efisien. Angka itu tidak otomatis mencerminkan throughput LLM dense.

Untuk inferensi praktis, metrik yang lebih berguna adalah latensi end-to-end, jumlah token per detik yang dapat dipertahankan, throughput pada tingkat konkurensi tertentu, konsumsi daya, dan biaya per token yang dihasilkan. Hasilnya juga dapat berubah karena ukuran KV-cache, paralelisme model, batching, perbandingan beban prefill dan decode, kuantisasi, serta kematangan runtime.

Arsitektur Nexus dan jadwal ketersediaan

CS-4 disebut sebagai sistem pertama yang menggunakan arsitektur platform Nexus milik Cerebras. Reuters melaporkan bahwa rak tersebut diperkirakan tersedia pada kuartal ketiga 2026, sementara laporan peluncuran menyebut pengiriman pertama dimulai pada kuartal berjalan.

Namun, sumber yang tersedia belum cukup untuk memverifikasi seluruh fitur arsitektur yang pernah disebut dalam diskusi awal. Secara khusus, sumber tersebut belum mengonfirmasi secara independen desain modular “backpack”, interkoneksi torus 2D tanpa switch, karakteristik pendinginan dan daya rak secara pasti, maupun rencana kapasitas agregat yang sudah berkomitmen. Klaim-klaim tersebut belum seharusnya diperlakukan sebagai spesifikasi CS-4 yang final tanpa dokumentasi lebih kuat.

Kemitraan dengan AWS dan AMD

Cerebras telah memiliki kolaborasi terdokumentasi dengan AWS untuk inferensi terdisagregasi. Dalam skema ini, sistem AWS Trainium menangani tahap prefill, sedangkan sistem Cerebras CS-3 menangani decoding. Keduanya terhubung melalui jaringan Elastic Fabric Adapter (EFA) milik Amazon dan tersedia melalui Amazon Bedrock.

Model ini menunjukkan bahwa arsitektur Cerebras dapat melengkapi akselerator lain, bukan hanya menggantikannya. Tahap prefill dan decode memiliki karakteristik performa berbeda, sehingga masing-masing dapat diberikan kepada perangkat keras yang paling sesuai.

Laporan yang tersedia juga menggambarkan konfigurasi AMD dan Cerebras yang dirancang untuk menggunakan GPU AMD pada tahap prefill dan prosesor Cerebras untuk decoding. Eksekutif Cerebras mengatakan konfigurasi itu dapat meningkatkan throughput hingga lima kali lipat, dengan penerapan yang diharapkan pada kuartal keempat 2026. Ini adalah klaim perusahaan yang mengarah ke masa depan, bukan hasil produksi yang telah diverifikasi secara independen.

Bukti yang tersedia belum menunjukkan bahwa AWS atau AMD telah berkomitmen pada penerapan CS-4 dengan skala tertentu. Sumber-sumber tersebut mendukung adanya kemitraan dan rencana inferensi hibrida, tetapi bukan jaminan peningkatan throughput untuk setiap pelanggan.

Apakah CS-4 akan menggantikan Nvidia?

Belum. CS-4 merupakan tantangan arsitektur yang kredibel dalam segmen yang lebih khusus tetapi bernilai tinggi: decoding LLM berlatensi rendah untuk pengguna interaktif. Prosesor wafer-scale, SRAM di dalam wafer, dan bandwidth internal yang besar dirancang untuk mengurangi biaya komunikasi yang muncul ketika inferensi disebar ke banyak GPU terpisah.

Namun, posisi Nvidia tidak ditentukan oleh angka akselerator puncak saja. Ekosistem perangkat lunak, dukungan model, ketersediaan, jaringan, total biaya kepemilikan, serta kemampuan menjalankan beragam model dan beban kerja sama pentingnya. Klaim 30 kali lebih cepat juga memerlukan benchmark yang benar-benar sebanding sebelum dapat dianggap sebagai bukti bahwa GPU Nvidia akan tergantikan secara umum.

Kesimpulan yang paling aman adalah CS-4 memperluas pilihan infrastruktur untuk inferensi AI. Sistem ini mungkin sangat menarik ketika kecepatan token per pengguna menjadi prioritas utama. Namun, apakah CS-4 benar-benar lebih cepat atau lebih murah dalam penerapan tertentu tetap bergantung pada karakteristik beban kerja dan metode benchmark yang digunakan.