d-Matrix’in Raptor XPUs’ı NVIDIA’nın NVLink Fusion altyapısına bağlanıyor

d-Matrix’in NVLink Fusion’ı benimsemesi, Raptor’u yalnızca PCIe üzerinden sunulan ayrı bir çıkarım hızlandırıcısı olmaktan çıkarıp NVIDIA’nın raf ölçekli “AI factory” tasarımına doğrudan katılan bir bileşen hâline getirmeyi amaçlıyor. Böylece müşteriler, gecikmeye duyarlı çıkarım için d-Matrix’in bellek odaklı XPU’sunu kullanırken NVIDIA’nın ölçek büyütme bağlantı dokusundan, ağ altyapısından, yönetim bileşenlerinden ve doğrulanmış raf tasarımından yararlanabilecek. 35

Raptor NVIDIA rafına nasıl bağlanacak?

Raptor, NVIDIA’nın NVLink Fusion arayüzünü uygulayacak ve NVIDIA’nın sıvı soğutmalı NVL144/MGX referans raf mimarisine uyacak şekilde tasarlanacak. NVLink, aynı raf içindeki işlemci ve hızlandırıcılar arasında yüksek bant genişlikli, düşük gecikmeli scale-up bağlantısını sağlıyor. Rafın ötesinde, yani scale-out genişleme için ise Spectrum-X ağ altyapısı kullanılacak. 35

Bu yaklaşım, d-Matrix çipinin NVIDIA sistemine sonradan eklenen sıradan bir kart gibi davranmasından farklı: Raptor, sistem düzeyinde bağlantı ve raf entegrasyonu düşünülerek konumlandırılıyor.

NVIDIA hangi altyapı bileşenlerini sağlayacak?

Raptor tabanlı bir rafta d-Matrix XPU’larına ek olarak NVIDIA’nın şu bileşenleri yer alabilecek:

• NVIDIA Vera CPU’ları,
• NVLink switch’leri,
• BlueField-4 DPU’ları,
• ConnectX-9 SuperNIC ağ kartları,
• Spectrum-X Ethernet ağı. 56

Dolayısıyla d-Matrix, çıkarım hızlandırıcısını sağlarken; I/O, ağ, yönetim, bağlantı dokusu ve referans raf tasarımının önemli kısmı NVIDIA ekosisteminde kalıyor. Astera Labs da sistem boyunca yüksek aktarım hızında veri akışı için özel bağlantı çözümlerinde d-Matrix ile çalışacak. 6

Neden özellikle çıkarımın “decode” aşaması hedefleniyor?

Büyük dil modellerinde yanıt oluşturma, tokenların tek tek üretildiği bir süreçtir. Bu decode aşamasında model ağırlıklarına tekrar tekrar erişilir; bu nedenle bellek kapasitesi ve bellek bant genişliği, yanıt gecikmesi açısından kritik hâle gelir.

GPU’lar modelin girdiyi işlemesi anlamına gelen prefill aşamasında ve genel amaçlı hesaplamada önemini korurken, d-Matrix Raptor ile token üretimindeki düşük gecikmeli çıkarımı hedefliyor. Şirketin yaklaşımı, GPU’ların bütünüyle değiştirilmesinden çok GPU ve XPU’ların birbirini tamamladığı bir çıkarım hattı kurmak. 310

Bellek kapasitesi ve bant genişliği hedefi

d-Matrix’in açıkladığı hedef, tek bir rafta 144 Raptor XPU kullanmak. Şirket, bunun raf başına yaklaşık 2,3 TB 3D-yığılmış DRAM ve 7,2 PB/s toplam bellek bant genişliği sağlayacağını belirtiyor. 3

Bu büyüklük teoride, ek veri yapıları, çalışma zamanı durumu ve diğer yazılım yükleri hesaba katılmadan önce, 4 bit nicemlemede dört trilyondan fazla parametreli modellerin bellekte tutulmasına imkân verebilir. Ancak pratikte çalıştırılabilecek model boyutu; model biçimine, nicemleme yöntemine ve sistem yazılımı yüklerine bağlı olacak.

Takvim: Raptor ne zaman gelecek?

Raptor’un 4 nm hesaplama kalıbı ile özel DRAM’i bir araya getiren bir tasarım olduğu belirtiliyor. d-Matrix’in çipin tape-out sürecini 2026 sonuna kadar tamamlaması, ilk rafa entegre sistemleri ise 2027’nin dördüncü çeyreğinde kullanıma sunması bekleniyor. 104

NVIDIA açısından stratejik anlamı

NVLink Fusion, özel amaçlı üçüncü taraf hızlandırıcıları seçen müşterilerin NVIDIA altyapısından tamamen ayrılma ihtimalini azaltabilir. Bu mimaride NVIDIA, ana çıkarım silikonu kendi GPU’su olmasa bile raf tasarımı, bağlantı dokusu, anahtarlar, CPU’lar, DPU’lar, SuperNIC’ler, Ethernet ağı ve yazılım çevresindeki altyapının önemli bölümünü sunmaya devam ediyor. Bu, açıklanmış bir ticari gelir paylaşımı değil; mimarinin ve platform modelinin işaret ettiği stratejik sonuçtur. 35

Daha geniş çerçevede d-Matrix; AWS, Arm, Intel, Fujitsu, MediaTek ve Marvell gibi kamuoyuna açıklanmış ortaklarla birlikte NVLink Fusion ekosistemine katılıyor. Amaç, NVLink’i yalnızca NVIDIA hızlandırıcıları arasındaki bir bağlantıdan çıkarıp heterojen AI-factory donanımları için bir platform arayüzüne dönüştürmek. 3

d-Matrix hakkında kısa not

d-Matrix, Corsair çıkarım hızlandırıcısını Kasım 2024’te duyurdu. Şirketin daha sonraki finansman sürecinde Microsoft’un M12 fonu da yer aldı. Bloomberg’e göre 275 milyon dolarlık Seri C turu şirketi 2 milyar dolar değerlemeye taşıdı; toplam finansman ise yaklaşık 450 milyon dolar olarak bildirildi. Bu iki rakamın tek bir 450 milyon dolarlık tur anlamına gelmediğini ayırmak gerekiyor. 26

İşbirliğinin mali şartları ise şirketler tarafından açıklanmadı. 1