AnswersPublished17 sources
d-Matrix kobler Raptor direkte inn i Nvidias AI-rack med NVLink Fusion
NVLink Fusion gjør at d Matrix kan bygge Raptor inn i Nvidias rackarkitektur, i stedet for å levere en separat PCIe akselerator. Raptor er rettet mot token for token dekoding, der minnekapasitet og minnebåndbredde er særlig viktige for svartid.
Publisert avBilder generert med GPT Image 2
Research answer
Key takeaways
- NVLink Fusion gjør at d Matrix kan bygge Raptor inn i Nvidias rackarkitektur, i stedet for å levere en separat PCIe akselerator.
- Raptor er rettet mot token for token dekoding, der minnekapasitet og minnebåndbredde er særlig viktige for svartid.
- Et Raptor rack kan kombinere d Matrix XPU er med Nvidia Vera prosessorer, NVLink svitsjer, BlueField 4 DPU er, ConnectX 9 SuperNIC er og Spectrum X Ethernet.
- De første rackintegrerte Raptor systemene er planlagt for fjerde kvartal 2027.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How does d Matrix’s adoption of Nvidia’s NVLink Fusion for its next generation Raptor inference processors enable the startup to plug its me. Article summary: d Matrix is using NVLink Fusion to make Raptor a native, rack scale participant in Nvidia’s AI factory design rather than a separate PCIe inference card.. Topic tags: general web, llm, ai, code, benchmarks. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clickbait thumbnails, icons, and tiny thumbnail layou
Fra enkeltkort til del av et komplett AI-rack
d-Matrix skal bruke Nvidia NVLink Fusion slik at neste generasjon Raptor-XPU-er kan inngå direkte i Nvidias rackskalerte AI-infrastruktur, fremfor å fungere som et frittstående PCIe-kort for inferens. Teknologien gir den minnesentrerte akseleratoren tilgang til Nvidias sammenkobling mellom enheter, nettverk og validerte rackdesign. 3
5
I praksis skal Raptor implementere NVLink Fusion-grensesnittet og plasseres i Nvidias væskekjølte MGX/NVL144-referansearkitektur. NVLink er skaleringsnettverket med høy båndbredde og lav forsinkelse inne i systemet, mens Spectrum-X er ment for utvidelse av nettverket utover racket. 3
5
Hva Nvidia fortsatt leverer
Et Raptor-basert rack kan bruke Nvidias Vera-CPU-er, NVLink-svitsjer, BlueField-4 DPU-er, ConnectX-9 SuperNIC-er og Spectrum-X Ethernet. d-Matrix leverer dermed XPU-en for inferens, mens Nvidia fortsatt står for store deler av systemets I/O, nettverk, administrasjonsmaskinvare og referansedesign. 5
6
Dette kan redusere veien fra spesiallaget silisium til en stor installasjon: d-Matrix kan benytte et allerede modent og validert MGX-økosystem, i stedet for å måtte bygge hele rackplattformen selv. 4
Hvorfor minne er sentralt for inferens
GPU-er er fortsatt relevante for blant annet prefill – fasen der en modell behandler inndata før den begynner å generere svar – og for generell databehandling. d-Matrix retter Raptor mot dekoding, altså produksjon av ett token om gangen. I denne fasen må modellvektene leses gjentatte ganger, noe som gjør minnekapasitet og minnebåndbredde ekstra viktige for forsinkelsen per token. 3
10
Målet er derfor en komplementær GPU–XPU-pipeline, ikke nødvendigvis å erstatte GPU-er fullstendig. d-Matrix har oppgitt at et rack med inntil 144 Raptor-akseleratorer kan få rundt 2,3 TB 3D-stablet DRAM og om lag 7,2 PB/s i samlet maksimal minnebåndbredde. Selskapet har også knyttet dette til modeller på over fire billioner parametere med 4-bits presisjon, men faktisk modellstørrelse vil avhenge av blant annet metadata, kjøretidstilstand og systemprogramvare. 3
Planen fram mot 2027
Raptor beskrives som en 4-nanometers compute-die kombinert med spesialtilpasset DRAM. d-Matrix forventer tape-out innen utgangen av 2026, og de første rackintegrerte systemene er ventet i fjerde kvartal 2027. 10
4
Strategisk verdi for Nvidia
Samarbeidet kan gjøre det enklere for kunder å bruke spesialiserte tredjepartsakseleratorer uten å forlate Nvidias infrastruktur. Selv når selve inferensbrikken kommer fra d-Matrix, kan Nvidia fortsatt levere fabric, svitsjer, CPU-er, DPU-er, SuperNIC-er, Ethernet og rackplattform. Dette er en slutning ut fra arkitekturen og forretningsmodellen, ikke et offentliggjort utsagn om samarbeidsøkonomien. 3
5
D-Matrix blir dermed del av det bredere NVLink Fusion-økosystemet, der AWS, Arm, Intel, Fujitsu, MediaTek og Marvell også er offentlig knyttet til satsingen. Ambisjonen er å gjøre NVLink til et plattformgrensesnitt for heterogen maskinvare i såkalte AI-fabrikker. 3
De økonomiske vilkårene for samarbeidet er ikke offentliggjort. 1
Selskapet i kortform
d-Matrix lanserte inferensakseleratoren Corsair i november 2024. Selskapet hentet senere 275 millioner dollar i en Serie C-runde som verdsatte det til 2 milliarder dollar; Microsofts investeringsfond M12 deltok også. Enkelte omtaler oppgir samlet finansiering på rundt 450 millioner dollar, men dette er ikke det samme som én enkelt investeringsrunde på 450 millioner dollar. 2
6
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "d-Matrix kobler Raptor direkte inn i Nvidias AI-rack med NVLink Fusion"?
NVLink Fusion gjør at d Matrix kan bygge Raptor inn i Nvidias rackarkitektur, i stedet for å levere en separat PCIe akselerator.
What are the key points to validate first?
NVLink Fusion gjør at d Matrix kan bygge Raptor inn i Nvidias rackarkitektur, i stedet for å levere en separat PCIe akselerator. Raptor er rettet mot token for token dekoding, der minnekapasitet og minnebåndbredde er særlig viktige for svartid.
What should I do next in practice?
Et Raptor rack kan kombinere d Matrix XPU er med Nvidia Vera prosessorer, NVLink svitsjer, BlueField 4 DPU er, ConnectX 9 SuperNIC er og Spectrum X Ethernet.