Waarom Nvidia's Vera Rubin AI-rack wel eens 7,8 miljoen dollar kan kosten—en dat komt niet alleen door de GPU

Het prijskaartje: een rack van bijna 8 miljoen

Analisten schatten dat één enkele Vera Rubin NVL72-rack rond de 7,8 miljoen dollar gaat kosten, ongeveer twee keer de prijs van de op Blackwell gebaseerde generatie.

Die stijging wordt beschreven als breed gedragen over het hele systeem, niet beperkt tot de GPU-silicium. Schattingen uit rapporten over de toeleveringsketen laten het volgende zien:

• Geheugenkosten: een stijging van zo'n 435%
• Printplaten (PCB's): een stijging van circa 233%
• Meerlaagse keramische condensatoren (MLCC's): een stijging van circa 182%
• ABF-substraten: een stijging van ongeveer 82%

Met andere woorden: bijna elk subsysteem in de rack wordt duurder naarmate AI-systemen in complexiteit toenemen.

Geheugen is veruit de grootste kostenpost

De meest opvallende stijging komt van de nieuwe generatie geheugentechnologieën in het Rubin-platform.

Rubin-GPU's gebruiken HBM4 (High Bandwidth Memory), de opvolger van HBM3 en HBM3e, die enorme bandbreedte moet leveren voor grote AI-modellen.

Tegelijkertijd introduceert het platform een groot LPDDR5X-geheugensubsysteem dat aan de nieuwe Nvidia Vera-CPU hangt en via SOCAMM-modules tot 1,5 TB aan geheugencapaciteit biedt.

Geheugenfabrikanten zijn al begonnen met de productie van deze onderdelen specifiek voor het Rubin-ecosysteem. Micron heeft bijvoorbeeld bevestigd dat het HBM4-stacks en SOCAMM2-modules in hoge volumes produceert voor het platform.

Omdat Rubin combineert:

• HBM4-stacks voor GPU's met hoge bandbreedte
• Grote LPDDR5X-pools voor CPU's

...stijgt de totale geheugenvoetafdruk en de kosten per rack dramatisch. Sommige schattingen suggereren dat het geheugen alleen al ongeveer een kwart van de totale rackkosten uitmaakt, veel meer dan bij eerdere generaties.

Systeemcomplexiteit neemt over de hele linie toe

Geheugen is niet de enige factor. Het Rubin-platform integreert meerdere gespecialiseerde chips en netwerktechnologieën die de systeemcomplexiteit vergroten.

De architectuur combineert verschillende nauw geïntegreerde componenten, waaronder:

• Vera-CPU's
• Rubin-GPU's
• NVLink-switches
• ConnectX SuperNIC-netwerk
• BlueField-DPU's
• Spectrum-Ethernet-switches

Dit niveau van integratie op rackschaal vereist veel geavanceerdere printplaten, verbindingen en stroomvoorzieningssystemen dan eerdere AI-servers.

Als gevolg daarvan rapporteren analisten aanzienlijke kostenstijgingen bij ondersteunende hardware:

• PCB's: meer lagen en materialen van hogere kwaliteit om snelle signalen te ondersteunen
• MLCC's: meer passieve componenten nodig voor stabiele stroomvoorziening
• ABF-substraten: grotere en geavanceerdere verpakkingssubstraten voor chips

Deze componenten lijken op zichzelf klein, maar over een rack met tientallen versnellers en netwerkapparatuur tellen ze flink op.

GPU's zijn nog steeds duur—maar domineren de rekening niet langer

De GPU blijft het duurste onderdeel van het systeem, maar zijn aandeel in de totale kosten krimpt naarmate andere subsystemen groeien.

Sommige schattingen zetten de kosten van een Rubin-GPU op ongeveer 55.000 dollar per chip, een stijging van 57% ten opzichte van de Blackwell-generatie.

Maar de snellere groei van geheugen- en systeemcomponenten betekent dat de GPU een kleiner percentage van de totale rackkosten voor zijn rekening neemt dan voorheen.

Die verschuiving weerspiegelt een fundamentele verandering in AI-hardwareontwerp: prestaties hangen steeds meer af van de volledige systeemarchitectuur, niet alleen van de versneller.

Waarom dit ertoe doet voor de AI-toeleveringsketen

De veranderende kostenstructuur heeft belangrijke gevolgen voor het hele halfgeleiderecosysteem.

Ten eerste vergroot het het aantal bedrijven dat profiteert van de AI-boom. Leveranciers van:

• HBM- en DRAM-geheugen
• geavanceerde verpakkingssubstraten
• hoogwaardige printplaten
• passieve componenten

veroveren een groter deel van de waarde in AI-infrastructuur.

Ten tweede neemt het belang toe van geheugenleveringen en capaciteit voor geavanceerde verpakkingen. Omdat Rubin sterk afhankelijk is van HBM4-productie, kunnen knelpunten in de geheugenketen direct van invloed zijn op het tempo van AI-infrastructuuruitrol.

Tot slot kunnen ODM- en OEM-fabrikanten die rackschaal-AI-servers assembleren mogelijk meer waarde vangen, omdat de systemen zelf complexer worden.

Het grotere plaatje: AI-hardware wordt supercomputing op rackschaal

Het verwachte prijskaartje van 7,8 miljoen dollar laat zien hoe snel AI-infrastructuur evolueert.

Eerdere generaties AI-servers waren in feite GPU-versnellers in standaardservers. Nieuwere platforms zoals Rubin zijn ontworpen als volledig geïntegreerde AI-supercomputers in één rek, waarbij rekenkracht, geheugen, netwerk en opslagarchitectuur in één strak geoptimaliseerd systeem zijn verenigd.

Die transformatie verklaart waarom de kosten van een enkel rack nu kunnen wedijveren met de prijs van een klein datacenter—en waarom de economie van AI-hardware zich steeds verder verspreidt, ver voorbij de GPU alleen.

Eén kanttekening: het bedrag van 7,8 miljoen dollar is een analistenschatting op basis van analyse van de toeleveringsketen, en Nvidia heeft geen officiële prijzen voor Rubin-systemen bevestigd.

Maar ongeacht het exacte getal: de richting is duidelijk. De volgende generatie AI-infrastructuur wordt minder bepaald door één enkele chip en meer door het volledige systeem eromheen.