Hovedpunktet: en rack på vei mot 78 millioner kroner

Analytikere anslår at en enkelt Vera Rubin NVL72-rack kan koste rundt 7,8 millioner dollar, omtrent dobbelt så mye som Blackwell-generasjonen.

Økningen beskrives som bredbasert på tvers av hele systemet, ikke begrenset til GPU-brikken. Estimater fra forsyningskjedens analyser tyder på:

• Minnekostnader opp med omtrent 435 prosent
• PCB-kostnader (kretskort) opp med omtrent 233 prosent
• MLCC-kostnader (flerlagskeramiske kondensatorer) opp med omtrent 182 prosent
• ABF-substratkostnader opp med omtrent 82 prosent

Med andre ord blir nesten hvert eneste delsystem inne i racken dyrere ettersom KI-systemene blir mer komplekse.

Minne er den største enkeltdriveren for kostnadsøkning

Den mest dramatiske økningen kommer fra minneteknologiene i neste generasjon som brukes i Rubin-plattformen.

Rubin-GPUene benytter seg av HBM4 (High Bandwidth Memory), det neste steget etter HBM3 og HBM3e, utviklet for å levere massiv båndbredde til store KI-modeller.

Samtidig introduserer plattformen et stort LPDDR5X-minnedelsystem tilknyttet den nye Nvidia Vera-CPUen, som leverer opptil 1,5 TB minnekapasitet ved bruk av SOCAMM-moduler.

Minneleverandører har allerede begynt å produsere disse komponentene spesifikt for Rubin-økosystemet. For eksempel har Micron bekreftet volumproduksjon av HBM4-stabler og SOCAMM2-moduler designet for plattformen.

Fordi Rubin kombinerer:

• høybåndbredde HBM4-stabler for GPUer
• stor kapasitet LPDDR5X-pooler for CPUer

…øker det totale minneavtrykket og kostnaden per rack dramatisk. Noen estimater tyder på at minne alene kan utgjøre omtrent en fjerdedel av den totale rackkostnaden – langt høyere enn i tidligere generasjoner.

Systemkompleksiteten øker på tvers av racken

Minne er ikke den eneste faktoren. Rubin-plattformen integrerer flere spesialiserte brikker og nettverksteknologier som øker systemkompleksiteten.

Arkitekturen kombinerer flere tett integrerte komponenter, inkludert:

• Vera-CPUer
• Rubin-GPUer
• NVLink-brytere
• ConnectX SuperNIC-nettverk
• BlueField-DPUer
• Spectrum Ethernet-brytere

Dette nivået av rack-skala-integrasjon krever langt mer avanserte kort, sammenkoblinger og strømsystemer enn tidligere KI-servere.

Som et resultat rapporterer analytikere betydelige kostnadsøkninger i støttemaskinvare:

• PCB: flere lag og materialer av høyere kvalitet for å støtte høyhastighets signalering
• MLCC: høyere antall passive komponenter for strømstabilitet
• ABF-substrater: større og mer avanserte emballasjesubstrater for brikker

Disse komponentene kan virke ubetydelige hver for seg, men på tvers av en rack som inneholder dusinvis av akseleratorer og nettverksenheter, utgjør de en betydelig kostnad.

GPUer er fortsatt dyre – men dominerer ikke lenger regningen

GPUen er fortsatt den dyreste enkeltkomponenten i systemet, men andelen av totalkostnaden krymper ettersom andre delsystemer utvides.

Noen estimater anslår kostnaden for en Rubin GPU til omtrent 55 000 dollar per brikke, noe som representerer en økning på 57 prosent sammenlignet med Blackwell-generasjonen.

Den raskere veksten i minne og systemkomponenter betyr imidlertid at GPUen utgjør en mindre prosentandel av den totale rackkostnaden enn før.

Dette skiftet gjenspeiler en grunnleggende endring i KI-maskinvarearkitektur: ytelsen avhenger i økende grad av hele systemarkitekturen, ikke bare akseleratoren.

Hvorfor dette er viktig for KI-forsyningskjeden

Den endrede kostnadsstrukturen har viktige implikasjoner på tvers av halvlederøkosystemet.

For det første utvides antallet selskaper som tjener på KI-boomen. Leverandører som produserer:

• HBM- og DRAM-minne
• avanserte emballasjesubstrater
• PCB med høyt lagantall
• passive komponenter

fanger en voksende andel av verdien i KI-infrastrukturen.

For det andre øker viktigheten av minnetilførsel og avansert emballasjekapasitet. Fordi Rubin er svært avhengig av HBM4-produksjon, kan flaskehalser i minneforsyningskjeden direkte påvirke tempoet i utbyggingen av KI-infrastruktur.

Til slutt kan systembyggere – spesielt ODM- og OEM-produsenter som setter sammen KI-servere i rack-skala – fange mer verdi fordi systemene i seg selv blir mer komplekse å bygge.

Det større bildet: KI-maskinvare blir rackskala-superdatabehandling

Den forventede prislappen på 7,8 millioner dollar understreker hvor raskt KI-infrastrukturen utvikler seg.

Tidligere generasjoner av KI-servere var i hovedsak GPU-akseleratorer plugget inn i standard servere. Nyere plattformer som Rubin er designet som fullt integrerte KI-superdatamaskiner i én rack, der datakraft, minne, nettverk og lagringsarkitektur kombineres i ett tett optimalisert system.

Denne transformasjonen er grunnen til at kostnaden for en enkelt rack nå kan konkurrere med prisen på et lite datasenter – og hvorfor økonomien i KI-maskinvare sprer seg langt utover GPUer alene.

Én forbehold: tallet på 7,8 millioner dollar er et analytikeranslag basert på forsyningskjedeanalyse, og Nvidia har ikke offentlig bekreftet offisielle priser for Rubin-systemer.

Men uansett nøyaktig beløp er retningen klar: neste generasjon KI-infrastruktur vil være mindre definert av én enkelt brikke og mer av hele systemet rundt den.

Hovedpunktet: en rack på vei mot 78 millioner kroner

Analytikere anslår at en enkelt Vera Rubin NVL72-rack kan koste rundt 7,8 millioner dollar, omtrent dobbelt så mye som Blackwell-generasjonen.

Økningen beskrives som bredbasert på tvers av hele systemet, ikke begrenset til GPU-brikken. Estimater fra forsyningskjedens analyser tyder på:

• Minnekostnader opp med omtrent 435 prosent
• PCB-kostnader (kretskort) opp med omtrent 233 prosent
• MLCC-kostnader (flerlagskeramiske kondensatorer) opp med omtrent 182 prosent
• ABF-substratkostnader opp med omtrent 82 prosent

Med andre ord blir nesten hvert eneste delsystem inne i racken dyrere ettersom KI-systemene blir mer komplekse.

Minne er den største enkeltdriveren for kostnadsøkning

Den mest dramatiske økningen kommer fra minneteknologiene i neste generasjon som brukes i Rubin-plattformen.

Rubin-GPUene benytter seg av HBM4 (High Bandwidth Memory), det neste steget etter HBM3 og HBM3e, utviklet for å levere massiv båndbredde til store KI-modeller.

Samtidig introduserer plattformen et stort LPDDR5X-minnedelsystem tilknyttet den nye Nvidia Vera-CPUen, som leverer opptil 1,5 TB minnekapasitet ved bruk av SOCAMM-moduler.

Minneleverandører har allerede begynt å produsere disse komponentene spesifikt for Rubin-økosystemet. For eksempel har Micron bekreftet volumproduksjon av HBM4-stabler og SOCAMM2-moduler designet for plattformen.

Fordi Rubin kombinerer:

• høybåndbredde HBM4-stabler for GPUer
• stor kapasitet LPDDR5X-pooler for CPUer

…øker det totale minneavtrykket og kostnaden per rack dramatisk. Noen estimater tyder på at minne alene kan utgjøre omtrent en fjerdedel av den totale rackkostnaden – langt høyere enn i tidligere generasjoner.

Systemkompleksiteten øker på tvers av racken

Minne er ikke den eneste faktoren. Rubin-plattformen integrerer flere spesialiserte brikker og nettverksteknologier som øker systemkompleksiteten.

Arkitekturen kombinerer flere tett integrerte komponenter, inkludert:

• Vera-CPUer
• Rubin-GPUer
• NVLink-brytere
• ConnectX SuperNIC-nettverk
• BlueField-DPUer
• Spectrum Ethernet-brytere

Dette nivået av rack-skala-integrasjon krever langt mer avanserte kort, sammenkoblinger og strømsystemer enn tidligere KI-servere.

Som et resultat rapporterer analytikere betydelige kostnadsøkninger i støttemaskinvare:

• PCB: flere lag og materialer av høyere kvalitet for å støtte høyhastighets signalering
• MLCC: høyere antall passive komponenter for strømstabilitet
• ABF-substrater: større og mer avanserte emballasjesubstrater for brikker

Disse komponentene kan virke ubetydelige hver for seg, men på tvers av en rack som inneholder dusinvis av akseleratorer og nettverksenheter, utgjør de en betydelig kostnad.

GPUer er fortsatt dyre – men dominerer ikke lenger regningen

GPUen er fortsatt den dyreste enkeltkomponenten i systemet, men andelen av totalkostnaden krymper ettersom andre delsystemer utvides.

Noen estimater anslår kostnaden for en Rubin GPU til omtrent 55 000 dollar per brikke, noe som representerer en økning på 57 prosent sammenlignet med Blackwell-generasjonen.

Den raskere veksten i minne og systemkomponenter betyr imidlertid at GPUen utgjør en mindre prosentandel av den totale rackkostnaden enn før.

Dette skiftet gjenspeiler en grunnleggende endring i KI-maskinvarearkitektur: ytelsen avhenger i økende grad av hele systemarkitekturen, ikke bare akseleratoren.

Hvorfor dette er viktig for KI-forsyningskjeden

Den endrede kostnadsstrukturen har viktige implikasjoner på tvers av halvlederøkosystemet.

For det første utvides antallet selskaper som tjener på KI-boomen. Leverandører som produserer:

• HBM- og DRAM-minne
• avanserte emballasjesubstrater
• PCB med høyt lagantall
• passive komponenter

fanger en voksende andel av verdien i KI-infrastrukturen.

For det andre øker viktigheten av minnetilførsel og avansert emballasjekapasitet. Fordi Rubin er svært avhengig av HBM4-produksjon, kan flaskehalser i minneforsyningskjeden direkte påvirke tempoet i utbyggingen av KI-infrastruktur.

Til slutt kan systembyggere – spesielt ODM- og OEM-produsenter som setter sammen KI-servere i rack-skala – fange mer verdi fordi systemene i seg selv blir mer komplekse å bygge.

Det større bildet: KI-maskinvare blir rackskala-superdatabehandling

Den forventede prislappen på 7,8 millioner dollar understreker hvor raskt KI-infrastrukturen utvikler seg.

Tidligere generasjoner av KI-servere var i hovedsak GPU-akseleratorer plugget inn i standard servere. Nyere plattformer som Rubin er designet som fullt integrerte KI-superdatamaskiner i én rack, der datakraft, minne, nettverk og lagringsarkitektur kombineres i ett tett optimalisert system.

Denne transformasjonen er grunnen til at kostnaden for en enkelt rack nå kan konkurrere med prisen på et lite datasenter – og hvorfor økonomien i KI-maskinvare sprer seg langt utover GPUer alene.

Én forbehold: tallet på 7,8 millioner dollar er et analytikeranslag basert på forsyningskjedeanalyse, og Nvidia har ikke offentlig bekreftet offisielle priser for Rubin-systemer.

Men uansett nøyaktig beløp er retningen klar: neste generasjon KI-infrastruktur vil være mindre definert av én enkelt brikke og mer av hele systemet rundt den.