Samsung prepara la memoria 3D: dalla base die a 4 nm alla zHBM

La strategia HBM di Samsung si sta spostando in tre direzioni successive: prima trasferire il controllo della memoria e parte dell’interfaccia nella base die dell’HBM; poi aggiungere monitoraggio, espansione della memoria ed elaborazione vicino ai dati; infine collocare il processore AI direttamente sotto lo stack DRAM, in un package 3D. Il punto d’arrivo è la zHBM, ma le cifre più ambiziose comunicate da Samsung sono obiettivi per un’architettura futura, non risultati dimostrati su prodotti in produzione. 1713

La roadmap in breve

Fase	Cambiamento architetturale	Vantaggio previsto
Fase 1: cHBM	Il controller di memoria e un’interfaccia die-to-die più compatta vengono spostati nella base die logica dell’HBM	Liberare area nell’acceleratore e ridurre il costo energetico dello scambio dati
Fase 2: aHBM	La base die integra telemetria, controller per l’espansione della memoria ed elementi di elaborazione selettivi	Migliorare gestione, capacità e utilizzo della memoria vicino ai dati
Fase 3: zHBM	Lo stack DRAM/HBM viene collocato direttamente sopra l’acceleratore AI	Accorciare il percorso tra calcolo e memoria e aumentare la connettività verticale

Il passaggio più importante riguarda il ruolo della base die. Da semplice livello di collegamento e controllo, diventa progressivamente un sottosistema logico più completo, fino a partecipare a una struttura in cui calcolo e memoria sono integrati verticalmente. 182027

Fase 1: cHBM sposta il controllo fuori dall’acceleratore

Il punto di partenza è l’HBM4 di Samsung, che combina DRAM 1c e una base die logica a 4 nm. L’azienda dichiara velocità fino a 13 Gbps e una larghezza di banda fino a 3.300 GB/s per stack; questi dati riguardano però l’HBM4 e non costituiscono specifiche della futura zHBM. 3537

La prima fase della roadmap sfrutta questa base die più avanzata per sostituire il PHY HBM tradizionale, più ingombrante, sull’acceleratore AI con un’interfaccia die-to-die più compatta. Anche alcune funzioni del controller di memoria vengono trasferite dall’acceleratore alla base die HBM. 1720

I possibili benefici sono due:

• Più spazio sull’acceleratore: l’area prima occupata da controller e interfaccia può essere destinata a unità di calcolo, cache o logica specializzata.
• Un percorso elettrico più breve: portare alcune funzioni nella base die può ridurre distanza e overhead della comunicazione tra acceleratore e HBM, migliorando l’efficienza energetica dell’interfaccia. 13

Alcuni resoconti indicano un possibile recupero del 5-10% dell’area dell’acceleratore e un miglioramento delle prestazioni del 10-20%. Sono tuttavia cifre riportate da materiale di roadmap e non un risultato garantito per ogni GPU, TPU o altro processore AI. 1729

Fase 2: aHBM trasforma la base die in un sottosistema attivo

Nella seconda fase, lo spazio liberato nella base die viene utilizzato per aggiungere nuove funzioni. Il concetto aHBM di Samsung comprende sensori e telemetria in tempo reale per parametri come temperatura e tensione, oltre a funzioni di affidabilità e autotest. Questi dati potrebbero rendere più precisa la risposta del sistema alle condizioni operative e migliorare il controllo dello stack di memoria. 182728

La base die potrebbe inoltre funzionare come interfaccia di espansione, collegando altri stack HBM o memorie aggiuntive come LPDDR. Per i progettisti dei sistemi sarebbe un modo per aumentare la capacità utilizzabile senza dipendere esclusivamente dalla memoria HBM locale. 182829

Samsung ha anche proposto l’integrazione di elementi di elaborazione nella base die. Non si tratterebbe di sostituire una GPU o un acceleratore general-purpose: questi elementi avrebbero un ruolo più limitato, gestendo alcune operazioni fortemente dipendenti dalla memoria direttamente vicino ai dati. L’obiettivo è ridurre parte del traffico nel package e migliorare l’utilizzo effettivo della memoria. 61927

È la fase di transizione: l’HBM resta accanto al processore in un package 2.5D, ma la base die comincia ad assomigliare a un sottosistema intelligente di I/O e calcolo.

Fase 3: con zHBM la memoria viene impilata sopra il calcolo

La zHBM rappresenta il salto più radicale. Nei package HBM convenzionali, processore e stack HBM sono affiancati su un interposer. Il concept di Samsung colloca invece il processore direttamente sotto lo stack DRAM, creando una vera struttura 3D di calcolo e memoria. 3732

La disposizione verticale dovrebbe accorciare il percorso dei dati e sostituire una grande interfaccia distribuita lungo il bordo con connessioni verticali più dense. In linea teorica, questo potrebbe portare a:

• maggiore larghezza di banda grazie a un collegamento molto più ampio;
• minori consumi di I/O, perché i segnali percorrono una distanza più breve;
• trasferimento dei dati più efficiente per addestramento e inferenza dei modelli AI;
• un ingombro laterale ridotto, dato che gli stack HBM non devono più circondare il processore. 13732

Per questo zHBM non significa semplicemente “HBM più veloce”. Cambia il rapporto fisico tra memoria e calcolo. Il risultato dipenderà non solo dalla velocità della DRAM, ma anche dalla topologia del package, dal progetto dell’interfaccia, dalla distribuzione dell’alimentazione e dal modo in cui il carico di lavoro risente dello spostamento dei dati.

HBM5 e zHBM: come leggere i numeri

Samsung ha pubblicato o presentato obiettivi basati su metriche e riferimenti diversi. Non vanno quindi interpretati come un unico benchmark direttamente confrontabile:

• HBM5 rispetto a HBM4E: l’obiettivo è raddoppiare le prestazioni, aumentare del 20% le prestazioni per watt e ridurre del 20% la resistenza termica. Alcuni resoconti collocano la produzione di massa intorno al 2028, ma HBM5 è ancora una generazione di roadmap e non uno standard produttivo ampiamente consolidato. 4101214
• zHBM rispetto a HBM4E: un confronto legato alla presentazione di Hot Chips indica circa il 70% in meno di potenza DRAM e una larghezza di banda DRAM superiore di oltre 2,3 volte. 111
• Obiettivi di più lungo periodo per zHBM: Samsung ha inoltre indicato fino a 8 volte le prestazioni, 3 volte le prestazioni per watt e una riduzione del 75-90% della resistenza termica rispetto a HBM4E. 21314

La differenza tra “2,3 volte la larghezza di banda” e “8 volte le prestazioni” non è necessariamente una contraddizione. Larghezza di banda, consumi della DRAM, prestazioni dell’applicazione e prestazioni per watt sono metriche diverse e possono riferirsi a configurazioni differenti. Nei materiali disponibili non c’è una metodologia sufficiente per ricomporre in modo indipendente tutte le cifre: è quindi più corretto considerarle obiettivi architetturali, non un singolo risultato misurato. 11014

Il legame con la strategia CUBE

Samsung descrive CUBE attraverso quattro obiettivi: Capacity, Utilization, Bandwidth ed Efficiency, cioè capacità, utilizzo, larghezza di banda ed efficienza. Secondo l’azienda, nell’era dell’AI non basta aumentare la velocità dell’interfaccia: la memoria deve essere collocata e utilizzata in modo più intelligente, anche lungo la terza dimensione. 257

Le tre fasi HBM riflettono questi quattro assi:

• Capacità: l’espansione gestita dalla base die potrebbe collegare ulteriori livelli di memoria, mentre l’impilamento verticale aumenta la densità senza allargare il package. 418
• Utilizzo: telemetria, logica di controllo ed elaborazione selettiva vicino alla memoria possono rendere più utile la capacità e la banda già disponibili per determinati carichi di lavoro. 1827
• Larghezza di banda: le connessioni verticali riducono la distanza fisica tra calcolo e memoria e aprono la strada a I/O più dense. 37
• Efficienza: ridurre il movimento dei dati e l’overhead dell’interfaccia può contenere i consumi, mentre il monitoraggio termico più preciso potrebbe aiutare il sistema a operare più vicino ai propri limiti. 1511

La zHBM è dunque l’espressione più chiara dell’approccio alla memoria sull’asse Z di Samsung: costruire verso l’alto per aumentare la densità utile e ridurre la distanza di comunicazione, invece di continuare ad ampliare un package 2.5D affiancato. 713

Gli ostacoli tecnici ancora da superare

Gestione termica

Collocare un processore ad alta potenza sotto uno stack DRAM rende più difficile smaltire il calore. Il chip di calcolo è più lontano dal percorso di raffreddamento, mentre la DRAM deve restare entro un intervallo termico relativamente ristretto. La riduzione della resistenza termica dichiarata da Samsung è quindi un obiettivo di progettazione, non un vantaggio automatico dell’impilamento 3D. 1419

Bonding, allineamento e resa produttiva

Una struttura 3D diretta richiede bonding e allineamento estremamente precisi su interfacce di grandi dimensioni. Assottigliamento dei wafer, integrazione dei TSV, controllo della deformazione, gestione dei difetti e bonding ad alta resa diventano ancora più importanti quando processore e memoria sono fisicamente uniti. Un difetto in una delle due parti può compromettere l’intero assemblaggio, aumentando il peso dei test su die già verificati, delle ridondanze per la riparazione e dell’accesso ai test dopo il bonding. Le funzioni di affidabilità e autotest previste nella base die mostrano quanto packaging e collaudo siano legati all’architettura. 2728

Alimentazione e integrità del segnale

Anche un’interfaccia verticale molto ampia deve garantire alimentazione stabile, temporizzazione, clock e controllo del rumore. Una larghezza di banda teorica più alta non assicura prestazioni applicative superiori se l’integrità dell’alimentazione, il throttling termico o la qualità del segnale limitano il funzionamento prolungato.

Altezza dello stack e vincoli meccanici

Aggiungere struttura verticale può aumentare lo spessore del package, le sollecitazioni meccaniche e la complessità del percorso di raffreddamento. Il progetto finale dovrà bilanciare capacità e banda con altezza dello stack, deformazioni, producibilità e limiti del substrato e della scheda.

Progettazione congiunta di processore e memoria

L’HBM standard può essere integrata come componente relativamente modulare. aHBM e, soprattutto, zHBM richiedono invece un coordinamento più stretto tra acceleratore, logica della base die, package, firmware, runtime e software. Interfacce, controllo della coerenza, gestione dei guasti e operazioni vicino alla memoria dovranno essere progettati insieme. Questo può aumentare la specializzazione, ma anche ridurre l’intercambiabilità rispetto ai sistemi basati su HBM convenzionale.

Tempi e adozione dell’ecosistema

La zHBM resta un concept futuro; alcuni resoconti collocano la sua commercializzazione dopo il 2029. Tempistiche e prestazioni dipenderanno dalla maturità del packaging, dall’adozione da parte dei clienti, dagli standard, dalla resa produttiva e dai costi. 8914

La conclusione pratica

La roadmap di Samsung si può leggere come un graduale trasferimento di intelligenza verso lo stack di memoria:

1. cHBM punta soprattutto a recuperare area nell’acceleratore e a spostare funzioni di controllo e interfaccia.
2. aHBM trasforma la base die in un sottosistema monitorato, espandibile e programmabile per operazioni selezionate.
3. zHBM fonde fisicamente calcolo e memoria, collocando il processore sotto la DRAM.

Il possibile vantaggio è significativo: meno energia per l’I/O, più silicio disponibile nell’acceleratore, maggiore densità di banda e migliori prestazioni per watt. Ma la terza fase trasferisce le difficoltà principali dal semplice progetto dell’interfaccia di memoria all’ingegneria termica, al packaging, alla resa, ai test e alla co-progettazione dell’intero sistema. Per ora zHBM è una direzione ambiziosa sostenuta da obiettivi dichiarati, non ancora la prova che un package AI 3D in produzione possa raggiungerli.