Raptor d-Matrix Akan Masuk ke Rak AI Nvidia lewat NVLink Fusion

Bagi d-Matrix, adopsi NVLink Fusion membuat Raptor bukan sekadar akselerator inferensi yang disambungkan ke server melalui PCIe. Raptor dirancang untuk menjadi komponen native dalam sistem AI skala rak Nvidia: terhubung ke fabric NVLink, masuk ke arsitektur referensi MGX/NVL144 berpendingin cair, serta memanfaatkan jaringan dan komponen pengelolaan Nvidia. 35

Cara Raptor masuk ke rak Nvidia

Raptor akan mengimplementasikan antarmuka NVLink Fusion dan ditempatkan dalam desain referensi Nvidia MGX. NVLink berfungsi sebagai fabric scale-up—koneksi berbandwidth tinggi dan berlatensi rendah antardevice di dalam sistem—sementara Spectrum-X menangani jaringan scale-out untuk memperluas konektivitas ke luar rak. 35

Dengan pendekatan ini, d-Matrix tidak perlu membangun seluruh infrastruktur rak dari nol. Perusahaan menyumbang XPU yang berfokus pada inferensi, sedangkan Nvidia tetap menyediakan bagian besar dari “perpipaan” sistem: desain rak, I/O, jaringan, pengelolaan, dan fabric konektivitas.

Komponen Nvidia yang dapat dipakai

Rak berbasis Raptor dapat menggabungkan XPU d-Matrix dengan CPU Nvidia Vera, switch NVLink, DPU BlueField-4, ConnectX-9 SuperNIC, serta jaringan Ethernet Spectrum-X. d-Matrix juga bekerja sama dengan Astera Labs untuk solusi konektivitas khusus yang ditujukan menjaga aliran data berthroughput tinggi di seluruh sistem. 56

Artinya, pelanggan berpotensi memperoleh akselerator khusus inferensi tanpa harus meninggalkan ekosistem infrastruktur Nvidia. Integrasi awal dalam bentuk sistem rak diperkirakan tersedia pada kuartal IV 2027. 58

Mengapa fokusnya pada memori dan tahap decode

d-Matrix menargetkan tahap decode dalam inferensi model generatif, yaitu proses menghasilkan token satu per satu setelah tahap prefill. Pada tahap ini, bobot model perlu dibaca berulang kali; karena itu kapasitas dan bandwidth memori menjadi sangat penting untuk latensi token.

Dalam skema yang dituju, GPU tetap berguna untuk prefill dan komputasi umum, sementara Raptor ditujukan sebagai pasangan untuk pekerjaan decode yang sensitif terhadap latensi. Jadi, posisinya bukan otomatis menggantikan GPU secara menyeluruh, melainkan membentuk pipeline inferensi GPU–XPU yang saling melengkapi. 310

Klaim kapasitas dan bandwidth: ada angka yang perlu dicermati

d-Matrix menargetkan sistem hingga 144 Raptor XPU dalam satu fabric NVLink all-to-all. Sejumlah laporan menyebut target tingkat rak sekitar 2,3 TB memori dan 7,2 PB/detik bandwidth memori agregat, yang secara kasar setara dengan 16 GB dan 50 TB/detik per XPU bila dibagi rata. 3

Namun, laporan lain mengenai Raptor menyebut 32 GB DRAM 3D-stacked dan 100 TB/detik bandwidth per kartu. 712 Karena angka per-XPU dan angka agregat tersebut tidak sepenuhnya selaras jika dikalikan 144, spesifikasi final konfigurasi rak perlu menunggu rincian produk resmi lebih lanjut.

Secara teori, memori 2,3 TB dapat menampung lebih dari empat triliun parameter pada presisi 4-bit sebelum memperhitungkan metadata, status runtime, dan overhead lain. Ukuran model yang benar-benar dapat dipakai dalam produksi pada akhirnya bergantung pada format model serta perangkat lunak sistem. 3

Jadwal dan arti strategisnya bagi Nvidia

Raptor digambarkan memakai compute die 4 nm yang dipadukan dengan DRAM kustom. d-Matrix menargetkan tape-out pada akhir 2026 dan ketersediaan awal sistem terintegrasi rak pada kuartal IV 2027. 1012

Bagi Nvidia, NVLink Fusion membuka jalan agar akselerator pihak ketiga tetap dapat dipakai di dalam arsitektur AI factory Nvidia. Secara strategis, hal ini memungkinkan Nvidia mempertahankan peran penting melalui fabric, switch, CPU, DPU, SuperNIC, Ethernet, dan desain rak, bahkan ketika silikon inferensi utama bukan GPU Nvidia. Ini merupakan pembacaan atas arsitektur dan model komersialnya, bukan pernyataan Nvidia mengenai nilai ekonomi kerja sama tersebut. 35

d-Matrix bergabung dengan ekosistem NVLink Fusion yang juga dikaitkan dengan mitra seperti AWS, Arm, Intel, Fujitsu, MediaTek, dan Marvell. Arahnya jelas: menjadikan NVLink sebagai antarmuka platform bagi perangkat keras AI heterogen, bukan hanya koneksi internal untuk produk Nvidia sendiri. 3

Ketentuan finansial kolaborasi Nvidia dan d-Matrix tidak diungkapkan. 1

Dalam konteks perusahaan, d-Matrix meluncurkan akselerator inferensi Corsair pada November 2024. Perusahaan kemudian meraih pendanaan Seri C senilai US$275 juta dengan valuasi US$2 miliar; laporan Bloomberg menyebut total pendanaannya sekitar US$450 juta, sehingga angka tersebut tidak boleh dibaca sebagai satu putaran pendanaan tunggal. 2