Questo cambiamento riflette una tendenza più ampia nell'infrastruttura AI: i moderni sistemi di training stanno diventando supercomputer su scala rack, dove le prestazioni dipendono tanto dalla larghezza di banda della memoria, dagli interconnessioni e dal design del sistema quanto dai chip acceleratori stessi.

Il dato principale: un rack che si avvicina agli 8 milioni

Gli analisti stimano che un singolo rack Vera Rubin NVL72 potrebbe costare circa 7,8 milioni di dollari, all'incirca il doppio del prezzo della generazione basata su Blackwell.

L'aumento è descritto come generalizzato all'intero sistema, non limitato al silicio della GPU. Le stime citate nei rapporti sulla supply chain suggeriscono:

• Costo del contenuto di memoria: aumento di circa il 435%
• Contenuto PCB: aumento di circa il 233%
• Contenuto MLCC (condensatori ceramici multistrato): aumento di circa il 182%
• Costi dei substrati ABF: aumento di circa l'82%

In altre parole, quasi ogni sottosistema all'interno del rack sta diventando più costoso man mano che i sistemi AI aumentano in complessità.

La memoria è il singolo fattore di costo più grande

L'aumento più drammatico proviene dalle tecnologie di memoria di nuova generazione utilizzate nella piattaforma Rubin.

Le GPU Rubin utilizzano HBM4 (High Bandwidth Memory), il passo successivo dopo HBM3 e HBM3e, progettato per offrire una larghezza di banda massiccia per i grandi modelli AI.

Allo stesso tempo, la piattaforma introduce un ampio sottosistema di memoria LPDDR5X collegato alla nuova CPU Nvidia Vera, che fornisce fino a 1,5 TB di capacità di memoria utilizzando moduli SOCAMM.

I produttori di memoria hanno già iniziato a produrre questi componenti specificamente per l'ecosistema Rubin. Ad esempio, Micron ha confermato la produzione in grandi volumi di stack HBM4 e moduli SOCAMM2 progettati per la piattaforma.

Poiché Rubin combina:

• stack HBM4 ad alta larghezza di banda per le GPU
• pool LPDDR5X di grande capacità per le CPU

...l'impronta complessiva della memoria e il costo per rack aumentano notevolmente. Alcune stime suggeriscono che la sola memoria potrebbe rappresentare circa un quarto del costo totale del rack, una percentuale molto più alta rispetto alle generazioni precedenti.

La complessità del sistema aumenta in tutto il rack

La memoria non è l'unico fattore. La piattaforma Rubin integra più chip specializzati e tecnologie di rete che aumentano la complessità del sistema.

L'architettura combina diversi componenti strettamente integrati, tra cui:

• CPU Vera
• GPU Rubin
• Switch NVLink
• ConnectX SuperNIC per il networking
• DPU BlueField
• Switch Ethernet Spectrum

Questo livello di integrazione su scala rack richiede schede, interconnessioni e sistemi di alimentazione molto più avanzati rispetto ai server AI precedenti.

Di conseguenza, gli analisti segnalano aumenti significativi dei costi nell'hardware di supporto:

• PCB: più strati e materiali di qualità superiore per supportare la segnalazione ad alta velocità
• MLCC: un numero maggiore di componenti passivi necessari per la stabilità dell'alimentazione
• Substrati ABF: substrati di packaging più grandi e avanzati per i chip

Questi componenti possono sembrare minori singolarmente, ma su un rack che contiene dozzine di acceleratori e dispositivi di rete, aggiungono un costo sostanziale.

Le GPU sono ancora costose, ma non dominano più il conto

La GPU rimane il singolo componente più grande del sistema, ma la sua quota sul costo totale si sta riducendo man mano che altri sottosistemi si espandono.

Alcune stime collocano il costo di una GPU Rubin a circa 55.000 dollari per chip, con un aumento di circa il 57% rispetto alla generazione Blackwell.

Tuttavia, la crescita più rapida dei costi di memoria e componenti di sistema significa che la GPU rappresenta una percentuale minore del costo totale del rack rispetto al passato.

Questo cambiamento riflette una trasformazione fondamentale nel design dell'hardware AI: le prestazioni dipendono sempre più dall'architettura dell'intero sistema, non solo dall'acceleratore.

Perché questo è importante per la filiera dell'AI

Il cambiamento nella struttura dei costi ha implicazioni importanti per l'intero ecosistema dei semiconduttori.

In primo luogo, espande il numero di aziende che beneficiano del boom dell'AI. I produttori di:

• memoria HBM e DRAM
• substrati di packaging avanzati
• PCB multistrato
• componenti passivi

stanno catturando una quota crescente del valore nell'infrastruttura AI.

In secondo luogo, aumenta l'importanza della fornitura di memoria e della capacità di packaging avanzato. Poiché Rubin dipende fortemente dalla produzione di HBM4, i vincoli nella catena di approvvigionamento della memoria potrebbero influenzare direttamente il ritmo di implementazione dell'infrastruttura AI.

Infine, i costruttori di sistemi, in particolare i produttori ODM e OEM che assemblano server AI su scala rack, potrebbero catturare più valore perché i sistemi stessi stanno diventando più complessi.

Il quadro generale: l'hardware AI sta diventando il supercomputer su rack

Il previsto prezzo di 7,8 milioni di dollari evidenzia la rapidità con cui si sta evolvendo l'infrastruttura AI.

Le generazioni precedenti di server AI erano essenzialmente acceleratori GPU collegati a server standard. Le piattaforme più recenti come Rubin sono progettate come supercomputer AI completamente integrati in un rack, combinando architettura di calcolo, memoria, rete e storage in un unico sistema strettamente ottimizzato.

Questa trasformazione è il motivo per cui il costo di un singolo rack può ora rivaleggiare con il prezzo di una piccola installazione di data center, e perché l'economia dell'hardware AI si sta diffondendo ben oltre le sole GPU.

Una precisazione: la cifra di 7,8 milioni di dollari è una stima degli analisti basata sull'analisi della supply chain, e Nvidia non ha confermato pubblicamente i prezzi ufficiali per i sistemi Rubin.

Ma indipendentemente dal numero esatto, la direzione è chiara: la prossima generazione di infrastrutture AI sarà definita meno da un singolo chip e più dall'intero sistema che lo circonda.

Questo cambiamento riflette una tendenza più ampia nell'infrastruttura AI: i moderni sistemi di training stanno diventando supercomputer su scala rack, dove le prestazioni dipendono tanto dalla larghezza di banda della memoria, dagli interconnessioni e dal design del sistema quanto dai chip acceleratori stessi.

Il dato principale: un rack che si avvicina agli 8 milioni

Gli analisti stimano che un singolo rack Vera Rubin NVL72 potrebbe costare circa 7,8 milioni di dollari, all'incirca il doppio del prezzo della generazione basata su Blackwell.

L'aumento è descritto come generalizzato all'intero sistema, non limitato al silicio della GPU. Le stime citate nei rapporti sulla supply chain suggeriscono:

• Costo del contenuto di memoria: aumento di circa il 435%
• Contenuto PCB: aumento di circa il 233%
• Contenuto MLCC (condensatori ceramici multistrato): aumento di circa il 182%
• Costi dei substrati ABF: aumento di circa l'82%

In altre parole, quasi ogni sottosistema all'interno del rack sta diventando più costoso man mano che i sistemi AI aumentano in complessità.

La memoria è il singolo fattore di costo più grande

L'aumento più drammatico proviene dalle tecnologie di memoria di nuova generazione utilizzate nella piattaforma Rubin.

Le GPU Rubin utilizzano HBM4 (High Bandwidth Memory), il passo successivo dopo HBM3 e HBM3e, progettato per offrire una larghezza di banda massiccia per i grandi modelli AI.

Allo stesso tempo, la piattaforma introduce un ampio sottosistema di memoria LPDDR5X collegato alla nuova CPU Nvidia Vera, che fornisce fino a 1,5 TB di capacità di memoria utilizzando moduli SOCAMM.

I produttori di memoria hanno già iniziato a produrre questi componenti specificamente per l'ecosistema Rubin. Ad esempio, Micron ha confermato la produzione in grandi volumi di stack HBM4 e moduli SOCAMM2 progettati per la piattaforma.

Poiché Rubin combina:

• stack HBM4 ad alta larghezza di banda per le GPU
• pool LPDDR5X di grande capacità per le CPU

...l'impronta complessiva della memoria e il costo per rack aumentano notevolmente. Alcune stime suggeriscono che la sola memoria potrebbe rappresentare circa un quarto del costo totale del rack, una percentuale molto più alta rispetto alle generazioni precedenti.

La complessità del sistema aumenta in tutto il rack

La memoria non è l'unico fattore. La piattaforma Rubin integra più chip specializzati e tecnologie di rete che aumentano la complessità del sistema.

L'architettura combina diversi componenti strettamente integrati, tra cui:

• CPU Vera
• GPU Rubin
• Switch NVLink
• ConnectX SuperNIC per il networking
• DPU BlueField
• Switch Ethernet Spectrum

Questo livello di integrazione su scala rack richiede schede, interconnessioni e sistemi di alimentazione molto più avanzati rispetto ai server AI precedenti.

Di conseguenza, gli analisti segnalano aumenti significativi dei costi nell'hardware di supporto:

• PCB: più strati e materiali di qualità superiore per supportare la segnalazione ad alta velocità
• MLCC: un numero maggiore di componenti passivi necessari per la stabilità dell'alimentazione
• Substrati ABF: substrati di packaging più grandi e avanzati per i chip

Questi componenti possono sembrare minori singolarmente, ma su un rack che contiene dozzine di acceleratori e dispositivi di rete, aggiungono un costo sostanziale.

Le GPU sono ancora costose, ma non dominano più il conto

La GPU rimane il singolo componente più grande del sistema, ma la sua quota sul costo totale si sta riducendo man mano che altri sottosistemi si espandono.

Alcune stime collocano il costo di una GPU Rubin a circa 55.000 dollari per chip, con un aumento di circa il 57% rispetto alla generazione Blackwell.

Tuttavia, la crescita più rapida dei costi di memoria e componenti di sistema significa che la GPU rappresenta una percentuale minore del costo totale del rack rispetto al passato.

Questo cambiamento riflette una trasformazione fondamentale nel design dell'hardware AI: le prestazioni dipendono sempre più dall'architettura dell'intero sistema, non solo dall'acceleratore.

Perché questo è importante per la filiera dell'AI

Il cambiamento nella struttura dei costi ha implicazioni importanti per l'intero ecosistema dei semiconduttori.

In primo luogo, espande il numero di aziende che beneficiano del boom dell'AI. I produttori di:

• memoria HBM e DRAM
• substrati di packaging avanzati
• PCB multistrato
• componenti passivi

stanno catturando una quota crescente del valore nell'infrastruttura AI.

In secondo luogo, aumenta l'importanza della fornitura di memoria e della capacità di packaging avanzato. Poiché Rubin dipende fortemente dalla produzione di HBM4, i vincoli nella catena di approvvigionamento della memoria potrebbero influenzare direttamente il ritmo di implementazione dell'infrastruttura AI.

Infine, i costruttori di sistemi, in particolare i produttori ODM e OEM che assemblano server AI su scala rack, potrebbero catturare più valore perché i sistemi stessi stanno diventando più complessi.

Il quadro generale: l'hardware AI sta diventando il supercomputer su rack

Il previsto prezzo di 7,8 milioni di dollari evidenzia la rapidità con cui si sta evolvendo l'infrastruttura AI.

Le generazioni precedenti di server AI erano essenzialmente acceleratori GPU collegati a server standard. Le piattaforme più recenti come Rubin sono progettate come supercomputer AI completamente integrati in un rack, combinando architettura di calcolo, memoria, rete e storage in un unico sistema strettamente ottimizzato.

Questa trasformazione è il motivo per cui il costo di un singolo rack può ora rivaleggiare con il prezzo di una piccola installazione di data center, e perché l'economia dell'hardware AI si sta diffondendo ben oltre le sole GPU.

Una precisazione: la cifra di 7,8 milioni di dollari è una stima degli analisti basata sull'analisi della supply chain, e Nvidia non ha confermato pubblicamente i prezzi ufficiali per i sistemi Rubin.

Ma indipendentemente dal numero esatto, la direzione è chiara: la prossima generazione di infrastrutture AI sarà definita meno da un singolo chip e più dall'intero sistema che lo circonda.