Raptor d-Matrix akan disepadukan terus ke dalam rak AI Nvidia melalui NVLink Fusion

d-Matrix menggunakan NVLink Fusion supaya Raptor bukan sekadar pemecut inferens yang dipasang berasingan melalui PCIe. Sebaliknya, XPU Raptor—pemproses khusus untuk inferens AI—dirancang untuk dihubungkan terus ke dalam seni bina rak pusat data Nvidia yang disejukkan cecair, termasuk reka bentuk rujukan MGX/NVL144. Ini meletakkan cip berfokus memori d-Matrix dalam sistem berskala rak yang menggunakan fabrik, rangkaian dan perkakasan pengurusan Nvidia. 35

Cara Raptor disambungkan ke rak Nvidia

Raptor akan melaksanakan antara muka NVLink Fusion, yang membolehkan cip tersuai mengambil bahagian dalam sambungan berkelajuan tinggi Nvidia. Dalam rak, NVLink berfungsi sebagai fabrik scale-up—iaitu sambungan berlebar jalur tinggi dan berlatensi rendah antara pemproses dalam satu sistem. Untuk memperluas sistem melangkaui rak, Nvidia menyediakan rangkaian scale-out Spectrum-X. 35

Dengan kata lain, d-Matrix membekalkan XPU untuk tugasan inferens tertentu, manakala Nvidia terus membekalkan banyak komponen asas sistem pusat data dan reka bentuk integrasinya.

Komponen Nvidia yang boleh digunakan dalam rak Raptor

Menurut pelan integrasi yang diumumkan, reka bentuk rujukan rak Nvidia untuk Raptor boleh menggabungkan:

• CPU Nvidia Vera;
• suis NVLink;
• DPU BlueField-4 untuk tugasan I/O, rangkaian dan pemprosesan data;
• ConnectX-9 SuperNICs; dan
• rangkaian Ethernet Spectrum-X. 56

Astera Labs juga disebut sebagai rakan ekosistem NVLink Fusion yang akan membantu menyediakan penyelesaian sambungan tersuai bagi memastikan aliran data berdaya pemprosesan tinggi dalam sistem. 6

Mengapa d-Matrix menumpukan penyahkodan inferens

Dalam model bahasa besar, inferens lazimnya melibatkan dua fasa utama. Fasa prefill memproses prompt awal, manakala fasa decode menjana jawapan token demi token. d-Matrix menyasarkan fasa decode yang peka terhadap kependaman, kerana proses ini perlu membaca pemberat model berulang kali dan menjadikan kapasiti serta lebar jalur memori sangat penting. 310

Ini bukan semestinya bermaksud Raptor menggantikan GPU Nvidia sepenuhnya. Pendekatan yang dimaksudkan ialah saluran kerja pelengkap: GPU kekal berguna untuk prefill dan pengkomputeran umum, manakala XPU d-Matrix menyasarkan penyahkodan token yang pantas. 310

Sasaran kapasiti dan lebar jalur

d-Matrix menyatakan sasaran sistemnya ialah sehingga 144 Raptor XPU dalam satu rak, dipautkan melalui fabrik NVLink semua-ke-semua. Pada peringkat rak, syarikat itu menyasarkan kira-kira 2.3 TB memori DRAM bertindan 3D dan 7.2 PB/s lebar jalur memori agregat. 37

Laporan mengenai Raptor turut menyebut 32 GB DRAM bertindan 3D dan sehingga 100 TB/s lebar jalur memori bagi setiap pemecut/kad Raptor. Butiran konfigurasi akhir, termasuk cara kapasiti dipetakan pada peringkat rak, masih perlu dinilai apabila produk sebenar tersedia. 3712

d-Matrix berkata kapasiti rak tersebut secara teori boleh memuatkan model melebihi empat trilion parameter pada ketepatan 4-bit. Namun, saiz model yang benar-benar boleh digunakan akan bergantung pada metadata, keadaan masa jalan, format model dan overhed perisian. 3

Jadual cip dan sistem

Raptor digambarkan menggunakan die pengkomputeran 4 nm yang digabungkan dengan DRAM tersuai. d-Matrix menjangka cip itu mencapai peringkat tape-out menjelang akhir 2026, manakala sistem rak MGX bersepadu pertama dijangka tersedia pada suku keempat 2027. 104

Kepentingannya kepada Nvidia

Bagi Nvidia, NVLink Fusion membolehkan pelanggan menggunakan pemecut khusus pihak ketiga tanpa perlu meninggalkan keseluruhan ekosistem rak Nvidia. Dalam senario ini, Nvidia masih boleh menyediakan seni bina rak, fabrik NVLink, suis, CPU, DPU, SuperNIC, rangkaian Ethernet dan infrastruktur berkaitan perisian—walaupun silikon inferens utama bukan GPU Nvidia.

Ini ialah tafsiran berdasarkan seni bina dan model komersial yang diumumkan, bukannya kenyataan Nvidia atau d-Matrix tentang nilai ekonomi perjanjian tersebut. 35

d-Matrix menyertai ekosistem NVLink Fusion yang turut dikaitkan secara terbuka dengan rakan seperti AWS, Arm, Intel, Fujitsu, MediaTek dan Marvell. Arah strateginya adalah menjadikan NVLink sebagai antara muka platform untuk perkakasan AI heterogen, bukan hanya sambungan antara GPU Nvidia. 3

Latar belakang d-Matrix

d-Matrix melancarkan pemecut inferens Corsair pada November 2024. Syarikat itu kemudian memperoleh pusingan Siri C bernilai AS$275 juta pada penilaian AS$2 bilion, dengan penyertaan M12 Microsoft antara pelabur terdahulu; laporan yang sama menyatakan jumlah pembiayaan terkumpulnya sekitar AS$450 juta. Kedua-dua angka itu tidak wajar dianggap sebagai satu pusingan pembiayaan AS$450 juta. 2

Syarat kewangan kerjasama d-Matrix–Nvidia tidak didedahkan. 1