Nvidia dan d-Matrix Siapkan Sistem Inference AI Hibrida Berlatensi Rendah

Layanan AI generatif kini tidak hanya dinilai dari kualitas jawabannya, tetapi juga dari seberapa cepat jawaban mulai muncul dan terus mengalir. Kolaborasi Nvidia dan d-Matrix yang diumumkan pada September 2026 menyasar persoalan itu: XPU inference Raptor milik d-Matrix akan dihubungkan langsung ke infrastruktur AI Nvidia agar sebuah rak dapat menyerahkan tiap bagian permintaan model bahasa besar (LLM) kepada prosesor yang paling sesuai. 134

Intinya adalah pembagian peran, bukan penggantian GPU Nvidia. Dalam sistem heterogen ini, GPU menjalankan tahap prefill yang intensif komputasi, sedangkan akselerator d-Matrix difokuskan pada tahap decode yang berulang dan peka terhadap latensi—ketika model menghasilkan token keluaran satu per satu. 45

Mengapa prefill dan decode dipisahkan

Satu permintaan ke LLM memiliki kebutuhan performa yang berbeda. Prefill memproses prompt dan konteks awal, sementara decode berulang kali menghasilkan token berikutnya. d-Matrix memosisikan arsitektur inference-nya, termasuk produk Corsair saat ini, untuk pekerjaan decode berdampingan dengan GPU yang dinilai kuat untuk beban komputasi berat. 26

Pembagian ini relevan bagi produk interaktif, ketika waktu hingga token berikutnya sangat menentukan pengalaman pengguna—misalnya asisten pemrograman, chatbot, dan layanan suara. Platform Raptor dirancang untuk layanan token premium dengan latensi sangat rendah, menurut d-Matrix. 48

Namun, membagi dua tahap tersebut juga menimbulkan tantangan: data harus berpindah antarpemroses cukup cepat agar keuntungan spesialisasi tidak habis oleh latensi komunikasi. Di situlah rancangan infrastruktur kolaborasi ini berperan.

Peran NVLink Fusion, MGX, dan Spectrum-X

Raptor direncanakan memakai NVLink Fusion untuk masuk ke domain scale-up NVLink Nvidia, sementara Spectrum-X menangani jaringan scale-out antarsistem. Nvidia menyatakan teknologi tersebut memberi d-Matrix jalur untuk menghubungkan silikon kustom dengan platform infrastruktur AI Nvidia yang lebih luas. 3

Rak d-Matrix yang direncanakan akan menggunakan arsitektur referensi MGX Nvidia. Konfigurasinya diharapkan mencakup CPU Nvidia Vera, switch NVLink, DPU BlueField-4, ConnectX-9 SuperNIC, serta Ethernet Spectrum-X. 48

Bagi d-Matrix, nilai MGX tidak sekadar pada interkoneksi. Perusahaan dapat membangun sistem menuju ekosistem rak yang telah divalidasi, alih-alih harus menguji sendiri seluruh unsur server, jaringan, daya, pendinginan, dan rantai pasok di sekitar prosesor baru. Nvidia menggambarkan MGX dan platformnya sebagai jalur yang lebih cepat serta berisiko lebih rendah dari silikon kustom ke penerapan skala besar. 3

Dalam praktiknya, kemitraan ini dimaksudkan agar Raptor dapat dipasang sebagai bagian dari AI factory bergaya Nvidia, bukan sebagai perangkat inference yang berdiri sendiri.

Raptor bertaruh pada memori dan bandwidth

d-Matrix menguraikan konfigurasi Raptor berskala rak yang ambisius: hingga 144 XPU per rak, 2,3 TB DRAM bertumpuk 3D, dan bandwidth memori agregat 7,2 PB/detik. Perusahaan mengatakan desain itu ditujukan untuk mendukung model lebih besar dari empat triliun parameter pada presisi 4-bit. Seluruhnya masih merupakan spesifikasi yang direncanakan, bukan hasil produk komersial yang telah divalidasi secara independen. 4

Arsitektur tersebut mencerminkan pandangan d-Matrix bahwa decode LLM sangat dipengaruhi perpindahan data di memori dan bandwidth yang tersedia. Paket 3D Raptor yang direncanakan menggabungkan cip memori DRAM dengan cip komputasi SRAM, melanjutkan pendekatan perusahaan yang berpusat pada memori. 4

d-Matrix menyebut Raptor ditargetkan mencapai tape-out—tahap finalisasi desain cip untuk dikirim ke pabrik—pada akhir 2026. Ketersediaan awal dalam rak MGX diperkirakan pada kuartal IV 2027. Sebelum itu, masih ada pekerjaan besar pada manufaktur, pengemasan, validasi sistem, dan penerapan skala rak yang harus berhasil sebelum pelanggan dapat menilai performa di lapangan. 48

Mengapa Nvidia membuka platformnya bagi akselerator lain

Peran Nvidia dalam kolaborasi ini cukup penting secara strategis. Nvidia mengizinkan XPU khusus dari pihak luar terhubung ke arsitektur rak dan jaringan miliknya, alih-alih mewajibkan seluruh tahap inference dijalankan di GPU Nvidia.

Nvidia menyebut platform AI-nya “terintegrasi secara vertikal dan terbuka secara horizontal”: perusahaan tetap mempertahankan nilai dari fabric scale-up, jaringan scale-out, desain rak, dan ekosistemnya, sambil memungkinkan prosesor lain ikut terhubung. 3

Langkah ini memperluas jenis beban kerja yang bisa dilayani platform tersebut. Pelanggan yang menginginkan akselerator khusus decode berpotensi tetap menggunakan infrastruktur yang kompatibel dengan Nvidia apabila akselerator itu dapat memanfaatkan NVLink Fusion, MGX, dan Spectrum-X. Jadi, ini lebih tepat dibaca sebagai komplementaritas yang terkontrol daripada mundurnya peran GPU: GPU Nvidia tetap sentral untuk pelatihan, inference serbaguna, dan tahap prefill yang berat secara komputasi, sedangkan perangkat khusus diarahkan untuk decode. 145

Corsair dan pendanaan d-Matrix

Raptor merupakan penerus akselerator inference Corsair milik d-Matrix. Perusahaan menyatakan Corsair dirancang khusus untuk decode dalam inference yang dipisahkan per tahap dan bekerja bersama GPU, bukan menggantikannya. 26

d-Matrix telah memublikasikan klaim performa, biaya, dan efisiensi energi untuk sistem hibrida berbasis Corsair. Namun, angka-angka itu tetap perlu diperlakukan sebagai klaim perusahaan sampai tersedia rincian benchmark yang bisa diuji ulang secara independen. Bukti dalam pengumuman ini belum menunjukkan peningkatan performa yang berlaku universal untuk semua model, ukuran batch, maupun konfigurasi penerapan. 2528

Perusahaan menghimpun pendanaan Seri C sebesar US$275 juta pada valuasi yang dilaporkan mencapai US$2 miliar, sehingga total pendanaan yang dilaporkan menjadi US$450 juta. Putaran ini turut melibatkan M12, dana ventura Microsoft, bersama investor lain. 2130 Reuters juga melaporkan Microsoft mendukung d-Matrix dalam putaran pendanaan pada 2023 dan d-Matrix mengirim cip AI pertamanya pada November 2024. 1

Rangkaian perkembangan tersebut menunjukkan d-Matrix berupaya bergerak dari penawaran inference berbasis satu produk menuju peta jalan sistem skala rak yang lebih luas. Integrasi dengan Nvidia dapat membuat transisi itu lebih meyakinkan bagi pelanggan yang sudah membeli atau mengoperasikan infrastruktur berbasis Nvidia.

Hal yang masih belum diketahui

Ketentuan finansial perjanjian Nvidia dan d-Matrix tidak diungkapkan. 1 Karena itu, pengumuman publik belum cukup untuk menyimpulkan apakah kesepakatan tersebut mencakup biaya lisensi, komitmen rekayasa bersama, pembelian dalam volume tertentu, bagi hasil, atau investasi dari Nvidia.

Kesimpulan yang lebih jelas adalah arah strateginya: kedua perusahaan sedang menyiapkan pasar inference di mana satu jenis prosesor tidak harus menjalankan seluruh tahapan permintaan LLM. d-Matrix memperoleh jalur masuk ke AI factory yang kompatibel dengan Nvidia; Nvidia mendapatkan opsi akselerator khusus decode yang terintegrasi dengan jaringan dan platform raknya. Apakah strategi itu benar-benar menghasilkan latensi lebih rendah atau ekonomi yang lebih baik pada skala besar akan bergantung pada perangkat keras Raptor, orkestrasi perangkat lunak, serta benchmark pelanggan setelah ketersediaan yang direncanakan pada 2027. 348