AnswersPublished18 sources
Så ska d-Matrix Raptor bli en del av Nvidias AI-fabriker
Raptor ska anslutas direkt till Nvidias vätskekylda MGX/NVL144 referensarkitektur via NVLink Fusion, i stället för att fungera som ett fristående PCIe kort. NVLink står för snabb kommunikation mellan enheter i racket, medan Spectrum X hanterar nätverk för utbyggnad utanför racket.
Publicerad avBilder genererade med GPT Image 2
Research answer
Key takeaways
- Raptor ska anslutas direkt till Nvidias vätskekylda MGX/NVL144 referensarkitektur via NVLink Fusion, i stället för att fungera som ett fristående PCIe kort.
- NVLink står för snabb kommunikation mellan enheter i racket, medan Spectrum X hanterar nätverk för utbyggnad utanför racket.
- Nvidias plattform kan omfatta Vera processorer, NVLink switchar, BlueField 4 DPU:er, ConnectX 9 SuperNIC:ar och Spectrum X Ethernet.
- d Matrix siktar på token för token avkodning, där hög minneskapacitet och minnesbandbredd är särskilt viktiga.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How does d Matrix’s adoption of Nvidia’s NVLink Fusion for its next generation Raptor inference processors enable the startup to plug its me. Article summary: d Matrix is using NVLink Fusion to make Raptor a native, rack scale participant in Nvidia’s AI factory design rather than a separate PCIe inference card.. Topic tags: general web, llm, ai, code, benchmarks. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clickbait thumbnails, icons, and tiny thumbnail layou
d-Matrix använder NVLink Fusion för att göra nästa generations Raptor-XPU till en integrerad del av Nvidias rackarkitektur, snarare än ett separat inferenskort anslutet via PCIe. Det innebär att bolagets minnescentrerade accelerator kan placeras direkt i Nvidias vätskekylda MGX/NVL144-design, samtidigt som kunden behåller Nvidias sammankoppling, nätverk och systemintegration. 3
5
Så kopplas Raptor in i racket
Raptor ska implementera NVLink Fusion-gränssnittet och passa in i Nvidias MGX-referensarkitektur för rack. NVLink används för den bandbreddskrävande, lågfördröjande kommunikationen mellan enheter i samma system – så kallad scale-up. Spectrum-X är avsett för scale-out, alltså nätverk mellan system och rack. 3
5
Det gör att d-Matrix kan leverera själva XPU:n – en processor inriktad på AI-inferens – utan att behöva bygga hela den omkringliggande datacentermiljön från grunden.
Vilka Nvidia-delar följer med
En Raptor-baserad racklösning kan enligt planerna kombinera d-Matrix XPUs med Nvidias:
- Vera-processorer
- NVLink-switchar
- BlueField-4 DPU:er, processorer för datainfrastruktur och I/O
- ConnectX-9 SuperNIC:ar
- Spectrum-X Ethernet-nätverk.
5
Nvidia står därmed fortsatt för en stor del av systemets infrastruktur: beräkning runt acceleratorerna, I/O, nätverk, hanteringsfunktioner och referensdesignen för racket. d-Matrix bidrar med sin specialiserade inferensprocessor. 5
6
Varför minnet står i centrum
GPU:er är fortsatt användbara både för modellernas prefill-fas – när en inmatad prompt behandlas – och för generell beräkning. d-Matrix riktar däremot in Raptor på decode, den token-för-token-generering som sker när en språkmodell skriver sitt svar.
I den fasen behöver modellvikter läsas om upprepade gånger. Därför blir minneskapacitet och minnesbandbredd centrala för svarstid per token. Tanken är alltså en kompletterande GPU–XPU-lösning, inte nödvändigtvis att Raptor ska ersätta Nvidia-GPU:er i alla delar av inferensarbetet. 3
10
d-Matrix uppger som mål att ett rack med 144 Raptor-XPU:er ska ge omkring 2,3 TB 3D-staplat DRAM och 7,2 PB/s i samlad minnesbandbredd. Det motsvarar ungefär 16 GB och 50 TB/s per XPU räknat på racknivå. I teorin räcker 2,3 TB för mer än fyra biljoner parametrar vid 4-bitars precision, men den praktiskt användbara modellstorleken beror också på metadata, körtillstånd och annan systemoverhead. 3
Tidplanen
Raptor beskrivs som ett 4-nanometers beräkningschip tillsammans med specialanpassat DRAM. d-Matrix räknar med tape-out – steget då chipdesignen skickas till tillverkning – före utgången av 2026. De första rackintegrerade systemen väntas under fjärde kvartalet 2027. 10
4
Vad Nvidia får ut av samarbetet
För Nvidia innebär NVLink Fusion att kunder kan använda specialiserade acceleratorer från andra leverantörer utan att nödvändigtvis lämna Nvidias systemekosystem. Nvidia kan fortfarande tillhandahålla rackarkitektur, kommunikationsfabric, switchar, processorer, DPU:er, nätverkskort, Ethernet och angränsande mjukvaruinfrastruktur.
Det är en slutsats utifrån arkitekturen och den kommersiella modellen, inte ett offentliggjort besked om affärsvillkoren. De finansiella villkoren för samarbetet har inte offentliggjorts. 1
3
5
En större satsning på heterogena AI-system
d-Matrix ansluter sig till NVLink Fusion-ekosystemet, där bland andra AWS, Arm, Intel, Fujitsu, MediaTek och Marvell har kopplats till satsningen. Strategin är att göra NVLink till ett gränssnitt för blandade typer av AI-hårdvara och därigenom utvidga Nvidias roll från acceleratorleverantör till leverantör av den omgivande systemplattformen. 3
d-Matrix lanserade tidigare inferensacceleratorn Corsair i november 2024. Bolaget har därefter tagit in 275 miljoner dollar i en Serie C-runda som värderade bolaget till 2 miljarder dollar. Rapporter beskriver den samlade finansieringen som cirka 450 miljoner dollar; det ska inte tolkas som att en enskild runda omfattade 450 miljoner dollar. 2
6
ParaSail har uppgett att kombinationen av Corsair och Nvidia-GPU:er kan ge upp till tio gånger högre inferenshastighet, men det är ett prestationspåstående från ett bolag eller en kund och inte ett oberoende riktmärke. 12
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Så ska d-Matrix Raptor bli en del av Nvidias AI-fabriker"?
Raptor ska anslutas direkt till Nvidias vätskekylda MGX/NVL144 referensarkitektur via NVLink Fusion, i stället för att fungera som ett fristående PCIe kort.
What are the key points to validate first?
Raptor ska anslutas direkt till Nvidias vätskekylda MGX/NVL144 referensarkitektur via NVLink Fusion, i stället för att fungera som ett fristående PCIe kort. NVLink står för snabb kommunikation mellan enheter i racket, medan Spectrum X hanterar nätverk för utbyggnad utanför racket.
What should I do next in practice?
Nvidias plattform kan omfatta Vera processorer, NVLink switchar, BlueField 4 DPU:er, ConnectX 9 SuperNIC:ar och Spectrum X Ethernet.