Skiftet afspejler en bredere tendens inden for AI-infrastruktur: moderne træningssystemer bliver i stigende grad rack-skala supercomputere, hvor ydeevnen afhænger lige så meget af hukommelsesbåndbredde, sammenkoblinger og systemdesign som af selve acceleratorchippene.

Overskriften: et rack på næsten 8 millioner dollars

Analytikere anslår, at et enkelt Vera Rubin NVL72-rack kan koste omkring 7,8 millioner dollars, hvilket er omtrent dobbelt så meget som Blackwell-generationen.

Stigningen beskrives som bredt funderet på tværs af hele systemet og ikke begrænset til GPU-silicium. Estimater fra forsyningskæden, citeret i flere rapporter, viser:

• Hukommelsesomkostninger: op omkring 435 %
• PCB-indhold: op omkring 233 %
• MLCC-indhold (flerlags-keramiske kondensatorer): op omkring 182 %
• ABF-substrater: op omkring 82 %

Med andre ord: stort set hvert undersystem i racket bliver dyrere, efterhånden som AI-systemerne vokser i kompleksitet.

Hukommelse er den største omkostningsdriver

Den mest markante stigning kommer fra næste generation af hukommelsesteknologier i Rubin-platformen.

Rubin-GPU'er bruger HBM4 (High Bandwidth Memory), den næste generation efter HBM3 og HBM3e, designet til at levere massiv båndbredde til store AI-modeller.

Samtidig introducerer platformen et stort LPDDR5X-hukommelsessubsystem knyttet til den nye Nvidia Vera CPU, der leverer op til 1,5 TB hukommelseskapacitet via SOCAMM-moduler.

Hukommelsesproducenter er allerede begyndt at fremstille disse komponenter specifikt til Rubin-økosystemet. For eksempel har Micron bekræftet, at de er i masseproduktion af HBM4-stakke og SOCAMM2-moduler designet til platformen.

Fordi Rubin kombinerer:

• højhastigheds-HBM4-stakke til GPU'er
• store LPDDR5X-puljer til CPU'er

...stiger det samlede hukommelsesfodaftryk og -omkostning per rack dramatisk. Flere estimater tyder på, at hukommelse alene kan udgøre omkring en fjerdedel af de samlede rack-omkostninger – langt mere end i tidligere generationer.

Systemkompleksiteten stiger på tværs af racket

Hukommelse er ikke den eneste faktor. Rubin-platformen integrerer flere specialiserede chips og netværksteknologier, der øger systemkompleksiteten.

Arkitekturen kombinerer flere tæt integrerede komponenter, herunder:

• Vera CPU'er
• Rubin GPU'er
• NVLink-switches
• ConnectX SuperNIC-netværkskort
• BlueField DPU'er
• Spectrum Ethernet-switches

Dette niveau af rack-skala integration kræver langt mere avancerede boards, sammenkoblinger og strømforsyningssystemer end tidligere AI-servere.

Som et resultat rapporterer analytikere markante omkostningsstigninger i understøttende hardware:

• PCB'er: flere lag og materialer af højere kvalitet til understøttelse af højhastighedssignaler
• MLCC'er: flere passive komponenter nødvendige for at opretholde strømstabiliteten
• ABF-substrater: større og mere avancerede emballagesubstrater til chips

Hver for sig kan disse komponenter virke små, men på tværs af et rack med snesevis af acceleratorer og netværksenheder løber de op i betydelige beløb.

GPU'er er stadig dyre – men dominerer ikke længere regningen

GPU'en forbliver den enkeltstørste komponent i systemet, men dens andel af de samlede omkostninger skrumper, efterhånden som andre delsystemer vokser.

Nogle estimater placerer prisen på en Rubin-GPU til omkring 55.000 dollars per chip – en stigning på omkring 57 % i forhold til Blackwell-generationen.

Den hurtigere vækst i hukommelse og systemkomponenter betyder dog, at GPU'en udgør en mindre procentdel af de samlede rack-omkostninger end tidligere.

Dette skift afspejler en fundamental ændring i AI-hardwaredesign: ydeevnen afhænger i stigende grad af hele systemarkitekturen, ikke kun acceleratorchippen.

Hvorfor dette er vigtigt for AI-forsyningskæden

Den ændrede omkostningsstruktur har vigtige implikationer på tværs af halvlederøkosystemet.

For det første udvides antallet af virksomheder, der drager fordel af AI-boomet. Producenter af:

• HBM- og DRAM-hukommelse
• avancerede emballagesubstrater
• PCB'er med mange lag
• passive komponenter

...fanger en voksende andel af værdien i AI-infrastruktur.

For det andet øger det vigtigheden af hukommelsesforsyning og avanceret emballagekapacitet. Da Rubin er stærkt afhængig af HBM4-produktion, kan flaskehalse i hukommelsesforsyningskæden direkte påvirke tempoet i udrulningen af AI-infrastruktur.

Endelig kan systembyggere – især ODM- og OEM-producenter, der samler rack-skala AI-servere – fange mere værdi, fordi systemerne i sig selv bliver mere komplekse.

Det store billede: AI-hardware bliver rack-skala supercomputing

Den forventede pris på 7,8 millioner dollars understreger, hvor hurtigt AI-infrastruktur udvikler sig.

Tidligere generationer af AI-servere var stort set GPU-acceleratorer sat i standard-servere. Nyere platforme som Rubin er designet som fuldt integrerede AI-supercomputere i et rack, der kombinerer computerkraft, hukommelse, netværk og lagerarkitektur i ét tæt optimeret system.

Det er den forvandling, der gør, at prisen på et enkelt rack nu kan matche prisen på en lille datacenterinstallation – og hvorfor økonomien i AI-hardware breder sig langt ud over GPU'erne alene.

Én forbehold: tallet på 7,8 millioner dollars er et analytikerestimat baseret på forsyningskædeanalyse, og Nvidia har ikke officielt bekræftet priser for Rubin-systemer.

Men uanset det præcise tal er retningen klar: den næste generation af AI-infrastruktur vil blive defineret mindre af en enkelt chip og mere af hele systemet, der omgiver den.

Skiftet afspejler en bredere tendens inden for AI-infrastruktur: moderne træningssystemer bliver i stigende grad rack-skala supercomputere, hvor ydeevnen afhænger lige så meget af hukommelsesbåndbredde, sammenkoblinger og systemdesign som af selve acceleratorchippene.

Overskriften: et rack på næsten 8 millioner dollars

Analytikere anslår, at et enkelt Vera Rubin NVL72-rack kan koste omkring 7,8 millioner dollars, hvilket er omtrent dobbelt så meget som Blackwell-generationen.

Stigningen beskrives som bredt funderet på tværs af hele systemet og ikke begrænset til GPU-silicium. Estimater fra forsyningskæden, citeret i flere rapporter, viser:

• Hukommelsesomkostninger: op omkring 435 %
• PCB-indhold: op omkring 233 %
• MLCC-indhold (flerlags-keramiske kondensatorer): op omkring 182 %
• ABF-substrater: op omkring 82 %

Med andre ord: stort set hvert undersystem i racket bliver dyrere, efterhånden som AI-systemerne vokser i kompleksitet.

Hukommelse er den største omkostningsdriver

Den mest markante stigning kommer fra næste generation af hukommelsesteknologier i Rubin-platformen.

Rubin-GPU'er bruger HBM4 (High Bandwidth Memory), den næste generation efter HBM3 og HBM3e, designet til at levere massiv båndbredde til store AI-modeller.

Samtidig introducerer platformen et stort LPDDR5X-hukommelsessubsystem knyttet til den nye Nvidia Vera CPU, der leverer op til 1,5 TB hukommelseskapacitet via SOCAMM-moduler.

Hukommelsesproducenter er allerede begyndt at fremstille disse komponenter specifikt til Rubin-økosystemet. For eksempel har Micron bekræftet, at de er i masseproduktion af HBM4-stakke og SOCAMM2-moduler designet til platformen.

Fordi Rubin kombinerer:

• højhastigheds-HBM4-stakke til GPU'er
• store LPDDR5X-puljer til CPU'er

...stiger det samlede hukommelsesfodaftryk og -omkostning per rack dramatisk. Flere estimater tyder på, at hukommelse alene kan udgøre omkring en fjerdedel af de samlede rack-omkostninger – langt mere end i tidligere generationer.

Systemkompleksiteten stiger på tværs af racket

Hukommelse er ikke den eneste faktor. Rubin-platformen integrerer flere specialiserede chips og netværksteknologier, der øger systemkompleksiteten.

Arkitekturen kombinerer flere tæt integrerede komponenter, herunder:

• Vera CPU'er
• Rubin GPU'er
• NVLink-switches
• ConnectX SuperNIC-netværkskort
• BlueField DPU'er
• Spectrum Ethernet-switches

Dette niveau af rack-skala integration kræver langt mere avancerede boards, sammenkoblinger og strømforsyningssystemer end tidligere AI-servere.

Som et resultat rapporterer analytikere markante omkostningsstigninger i understøttende hardware:

• PCB'er: flere lag og materialer af højere kvalitet til understøttelse af højhastighedssignaler
• MLCC'er: flere passive komponenter nødvendige for at opretholde strømstabiliteten
• ABF-substrater: større og mere avancerede emballagesubstrater til chips

Hver for sig kan disse komponenter virke små, men på tværs af et rack med snesevis af acceleratorer og netværksenheder løber de op i betydelige beløb.

GPU'er er stadig dyre – men dominerer ikke længere regningen

GPU'en forbliver den enkeltstørste komponent i systemet, men dens andel af de samlede omkostninger skrumper, efterhånden som andre delsystemer vokser.

Nogle estimater placerer prisen på en Rubin-GPU til omkring 55.000 dollars per chip – en stigning på omkring 57 % i forhold til Blackwell-generationen.

Den hurtigere vækst i hukommelse og systemkomponenter betyder dog, at GPU'en udgør en mindre procentdel af de samlede rack-omkostninger end tidligere.

Dette skift afspejler en fundamental ændring i AI-hardwaredesign: ydeevnen afhænger i stigende grad af hele systemarkitekturen, ikke kun acceleratorchippen.

Hvorfor dette er vigtigt for AI-forsyningskæden

Den ændrede omkostningsstruktur har vigtige implikationer på tværs af halvlederøkosystemet.

For det første udvides antallet af virksomheder, der drager fordel af AI-boomet. Producenter af:

• HBM- og DRAM-hukommelse
• avancerede emballagesubstrater
• PCB'er med mange lag
• passive komponenter

...fanger en voksende andel af værdien i AI-infrastruktur.

For det andet øger det vigtigheden af hukommelsesforsyning og avanceret emballagekapacitet. Da Rubin er stærkt afhængig af HBM4-produktion, kan flaskehalse i hukommelsesforsyningskæden direkte påvirke tempoet i udrulningen af AI-infrastruktur.

Endelig kan systembyggere – især ODM- og OEM-producenter, der samler rack-skala AI-servere – fange mere værdi, fordi systemerne i sig selv bliver mere komplekse.

Det store billede: AI-hardware bliver rack-skala supercomputing

Den forventede pris på 7,8 millioner dollars understreger, hvor hurtigt AI-infrastruktur udvikler sig.

Tidligere generationer af AI-servere var stort set GPU-acceleratorer sat i standard-servere. Nyere platforme som Rubin er designet som fuldt integrerede AI-supercomputere i et rack, der kombinerer computerkraft, hukommelse, netværk og lagerarkitektur i ét tæt optimeret system.

Det er den forvandling, der gør, at prisen på et enkelt rack nu kan matche prisen på en lille datacenterinstallation – og hvorfor økonomien i AI-hardware breder sig langt ud over GPU'erne alene.

Én forbehold: tallet på 7,8 millioner dollars er et analytikerestimat baseret på forsyningskædeanalyse, og Nvidia har ikke officielt bekræftet priser for Rubin-systemer.

Men uanset det præcise tal er retningen klar: den næste generation af AI-infrastruktur vil blive defineret mindre af en enkelt chip og mere af hele systemet, der omgiver den.