AnswersPublished18 sources
d-Matrix liittää Raptor-XPU:t suoraan Nvidian AI-räkkeihin
Raptor XPU ei ole tarkoitettu erilliseksi PCIe inferenssikortiksi, vaan Nvidian rack scale AI factory arkkitehtuurin natiiviksi osaksi NVLink Fusionin kautta. NVLink tarjoaa räkin sisäisen suuren kaistanleveyden ja pienen viiveen scale up yhteyden, kun taas Spectrum X hoitaa verkon laajentamisen räkin ulkopuolelle.
JulkaisijaKuvat luotu mallilla GPT Image 2
Research answer
Key takeaways
- Raptor XPU ei ole tarkoitettu erilliseksi PCIe inferenssikortiksi, vaan Nvidian rack scale AI factory arkkitehtuurin natiiviksi osaksi NVLink Fusionin kautta.
- NVLink tarjoaa räkin sisäisen suuren kaistanleveyden ja pienen viiveen scale up yhteyden, kun taas Spectrum X hoitaa verkon laajentamisen räkin ulkopuolelle.
- MGX viiteräkki voi yhdistää Raptor XPU:t Nvidian Vera suorittimiin, NVLink kytkimiin, BlueField 4 DPU:ihin, ConnectX 9 SuperNIC verkkokortteihin ja Spectrum X Ethernetiin.
- d Matrix tähtää tokeni kerrallaan tapahtuvaan generointivaiheeseen, jossa mallipainojen jatkuva lukeminen korostaa muistimuistin kapasiteetin ja kaistanleveyden merkitystä.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: How does d Matrix’s adoption of Nvidia’s NVLink Fusion for its next generation Raptor inference processors enable the startup to plug its me. Article summary: d Matrix is using NVLink Fusion to make Raptor a native, rack scale participant in Nvidia’s AI factory design rather than a separate PCIe inference card.. Topic tags: general web, llm, ai, code, benchmarks. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clickbait thumbnails, icons, and tiny thumbnail layou
d-Matrixin NVLink Fusion -valinta tarkoittaa käytännössä sitä, että yhtiön tuleva Raptor-XPU voidaan asentaa osaksi Nvidian valmiiksi määriteltyä, nestejäähdytettyä AI-räkkikokonaisuutta. Se ei siis jäisi erilliseksi PCIe-väylään kytkettäväksi inferenssikiihdyttimeksi, vaan toimisi Nvidian AI factory -arkkitehtuurin rack-scale-tason komponenttina. 3
5
Miten Raptor kytkeytyy Nvidian räkkijärjestelmään?
Raptor toteuttaa NVLink Fusion -liitännän ja sovitetaan Nvidian MGX-viitearkkitehtuuriin sekä nestejäähdytettyyn NVL144-räkkisuunnitteluun. NVLink toimii laitteiden välisenä räkin sisäisenä scale-up-yhteytenä: sen tehtävä on tarjota suuri kaistanleveys ja pieni viive. Spectrum-X puolestaan on scale-out-verkko, jolla yhteyksiä laajennetaan räkin ulkopuolelle. 3
5
Käytännössä d-Matrix tuo järjestelmään oman muistikeskeisen XPU-kiihdyttimensä, mutta Nvidia toimittaa edelleen suuren osan ympäröivästä järjestelmästä: laskenta- ja I/O-rakenteet, kytkentäkankaan, verkon, hallintaan liittyviä komponentteja sekä räkin viitesuunnittelun. 5
Raptor-pohjaisessa räkkikokoonpanossa voidaan käyttää muun muassa seuraavia Nvidian osia:
- Vera-suorittimia
- NVLink-kytkimiä
- BlueField-4-DPU:ita
- ConnectX-9 SuperNIC -verkkokortteja
- Spectrum-X Ethernet -verkotusta.
5
Miksi muistikeskeinen XPU on kiinnostava inferenssissä?
d-Matrix kohdistaa Raptorin erityisesti generatiivisen tekoälyn decode-vaiheeseen, jossa mallin vastausta tuotetaan tokeni kerrallaan. Tässä vaiheessa mallipainoja joudutaan lukemaan toistuvasti, joten muistikapasiteetti ja muistikaistanleveys voivat muodostua ratkaiseviksi suorituskykytekijöiksi.
GPU:t säilyvät hyödyllisinä esimerkiksi mallin esitäyttövaiheessa (prefill) ja yleislaskennassa. Raptorin tarkoitus ei siten ole välttämättä korvata GPU:ita kokonaan, vaan täydentää niitä GPU–XPU-putkessa: tavoitteena on pienempi tokeniviive erityisesti vastausten jatkuvassa generoinnissa. 3
10
Kapasiteetti- ja kaistanleveystavoite
Yhtiön ilmoittamassa räkkitavoitteessa olisi 144 Raptor-XPU:ta, yhteensä 2,3 Tt 3D-pinottua DRAM-muistia ja 7,2 Pt/s muistikaistanleveyttä. Tämä vastaa laskennallisesti 16 Gt muistia ja 50 Tt/s kaistanleveyttä yhtä XPU:ta kohti.
Periaatteessa 2,3 Tt voisi riittää yli neljän biljoonan 4-bittisen parametrin mallille. Käytännössä käyttökelpoinen mallikoko on kuitenkin pienempi tai suurempi riippuen muun muassa mallin esitystavasta, metadatasta, ajonaikaisesta tilasta ja järjestelmäohjelmiston tarvitsemasta tilasta. 3
Raptor kuvataan 4 nm:n laskentasiruksi, joka yhdistetään räätälöityyn DRAM-muistiin. d-Matrix odottaa sirun tape-out-vaiheen valmistuvan vuoden 2026 loppuun mennessä ja ensimmäisten räkkitasolle integroitujen järjestelmien tulevan saataville vuoden 2027 neljännellä neljänneksellä. 10
4
Mitä Nvidia saa järjestelystä?
Nvidialle NVLink Fusion laajentaa sen roolia yksittäisestä kiihdytintoimittajasta koko AI-infrastruktuurin alustaksi. Jos asiakas valitsee erikoistuneen kolmannen osapuolen inferenssipiirin, se voi silti käyttää Nvidian räkkisuunnittelua, NVLink-kangasta, kytkimiä, suorittimia, DPU:ita, SuperNIC-kortteja, Ethernet-verkkoa ja muuta lähi-infrastruktuuria.
Tämä tulkinta seuraa arkkitehtuurista ja kaupallisesta mallista; yhteistyön taloudellisia ehtoja ei ole julkistettu. 1
3
5
d-Matrix liittyy NVLink Fusion -kumppaneiden kasvavaan joukkoon, johon on julkisuudessa liitetty myös AWS, Arm, Intel, Fujitsu, MediaTek ja Marvell. Strategiana näyttää olevan NVLinkin kehittäminen heterogeenisten AI factory -järjestelmien alustaliitännäksi, ei vain Nvidian omien kiihdyttimien sisäiseksi tekniikaksi. 3
d-Matrixin tausta
d-Matrix toi Corsair-inferenssikiihdyttimensä julki marraskuussa 2024. Yhtiön rahoitushistoriaan kuuluu Microsoftin M12-rahaston osallistuminen: 275 miljoonan dollarin C-sarjan kierros arvosti yhtiön 2 miljardiin dollariin, ja joidenkin tietojen mukaan yhtiö on kerännyt rahoitusta yhteensä noin 450 miljoonaa dollaria. Lukuja ei pidä tulkita siten, että kyse olisi yhdestä 450 miljoonan dollarin rahoituskierroksesta. 2
6
ParaSail on raportoinut jopa kymmenkertaisesta inferenssinopeuden kasvusta yhdistämällä Corsairin Nvidian GPU:ihin. Kyse on kuitenkin yrityksen tai asiakkaan suorituskykyväitteestä, ei riippumattomasta vertailumittauksesta. 12
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "d-Matrix liittää Raptor-XPU:t suoraan Nvidian AI-räkkeihin"?
Raptor XPU ei ole tarkoitettu erilliseksi PCIe inferenssikortiksi, vaan Nvidian rack scale AI factory arkkitehtuurin natiiviksi osaksi NVLink Fusionin kautta.
What are the key points to validate first?
Raptor XPU ei ole tarkoitettu erilliseksi PCIe inferenssikortiksi, vaan Nvidian rack scale AI factory arkkitehtuurin natiiviksi osaksi NVLink Fusionin kautta. NVLink tarjoaa räkin sisäisen suuren kaistanleveyden ja pienen viiveen scale up yhteyden, kun taas Spectrum X hoitaa verkon laajentamisen räkin ulkopuolelle.
What should I do next in practice?
MGX viiteräkki voi yhdistää Raptor XPU:t Nvidian Vera suorittimiin, NVLink kytkimiin, BlueField 4 DPU:ihin, ConnectX 9 SuperNIC verkkokortteihin ja Spectrum X Ethernetiin.