Samsung onthult route naar zHBM: AI-chip rechtstreeks onder DRAM-stack

Samsung werkt aan een HBM-roadmap in drie fasen. Eerst wil het bedrijf geheugenbesturing en interfacefuncties onderbrengen in de logische basislaag van de HBM-stack. Daarna moet die laag uitgroeien tot een actief subsysteem met sensoren, geheugenuitbreiding en beperkte rekenmogelijkheden. Het einddoel is zHBM: een 3D-pakket waarin de AI-processor direct onder de DRAM-stack zit.

De belangrijkste kanttekening: de opvallende prestatiecijfers voor zHBM zijn toekomstdoelen voor een architectuur in ontwikkeling, geen bewezen productbenchmarks. 1713

De roadmap in één overzicht

Fase	Belangrijkste verandering	Beoogd voordeel
Fase 1: custom HBM (cHBM)	De geheugencontroller en een compactere chip-tot-chipinterface verhuizen naar de HBM-basislaag	Chipruimte terugwinnen op de AI-accelerator en het energieverbruik van de interface verlagen
Fase 2: advanced HBM (aHBM)	De basislaag krijgt telemetrie, geheugenuitbreidingscontrollers en geselecteerde rekenelementen	Geheugenbeheer, capaciteit en benutting verbeteren dicht bij de data
Fase 3: zHBM	De DRAM/HBM-structuur komt rechtstreeks boven de AI-processor te liggen	De verbinding tussen processor en geheugen verkorten en verticale connectiviteit vergroten

De rol van de basislaag verandert daarmee ingrijpend. Die laag is niet langer vooral een verbinding- en besturingslaag, maar wordt stap voor stap een krachtiger logisch subsysteem. Uiteindelijk wordt ze onderdeel van een verticaal geïntegreerde combinatie van geheugen en rekenkracht. 182027

Fase 1: cHBM haalt besturing van de accelerator

Samsung gebruikt voor HBM4 een combinatie van 1c-DRAM en een 4nm-logische basislaag. Volgens Samsung kan HBM4 snelheden tot 13 Gbps en een bandbreedte tot 3.300 GB/s per stack halen. Dat zijn productclaims voor HBM4 en geen specificaties van het latere zHBM-concept. 3537

In de eerste roadmapfase wordt de conventionele, grotere HBM-PHY op de AI-accelerator vervangen door een compactere chip-tot-chipinterface. Ook verhuist een deel van de geheugencontrollerfuncties van de accelerator naar de HBM-basislaag. 1720

Dat kan twee voordelen opleveren:

• Meer ruimte op de accelerator: chipoppervlak dat nu nodig is voor geheugenbesturing en interfacefuncties kan worden gebruikt voor rekeneenheden, cache of specifieke AI-logica.
• Een kortere elektrische verbinding: doordat functies naar de basislaag verhuizen, kan de communicatie tussen accelerator en HBM minder afstand en minder overhead vragen. Dat kan de energie-efficiëntie van de interface verbeteren. 13

Sommige rapporten spreken over een mogelijke vrijmaking van 5 tot 10 procent van het acceleratoroppervlak en een prestatieverbetering van 10 tot 20 procent. Die cijfers komen uit gerapporteerd roadmapmateriaal en zijn geen universeel resultaat voor iedere AI-processor. 1729

Fase 2: aHBM maakt de basislaag intelligent

In de tweede fase wordt de vrijgekomen ruimte in de basislaag gebruikt voor extra functies. Samsung beschrijft sensoren en realtime-telemetrie voor onder meer temperatuur en spanning, aangevuld met betrouwbaarheidsfuncties en ingebouwde zelftests. Zo kan het systeem nauwkeuriger reageren op veranderende omstandigheden en de toestand van de geheugenstack beter volgen. 182728

De basislaag kan daarnaast dienen als interface voor geheugenuitbreiding. Ze zou extra HBM of ander geheugen, zoals LPDDR, kunnen aansluiten. Systeemontwerpers krijgen daarmee een extra manier om de bruikbare geheugencapaciteit te vergroten zonder uitsluitend op de lokale HBM-stack te vertrouwen. 182829

Samsung heeft ook voorgesteld om rekenelementen in de basislaag te plaatsen. Die nemen niet de rol over van een algemene GPU of AI-accelerator. Hun beperktere taak zou bestaan uit geselecteerde, geheugenintensieve bewerkingen dicht bij de data. Daardoor kan een deel van het verkeer door het pakket worden verminderd en kan de beschikbare bandbreedte beter worden benut. 61927

Dit is de overgangsfase: HBM en processor blijven naast elkaar staan in een 2,5D-pakket, maar de basislaag begint zich te gedragen als een intelligente I/O- en verwerkingseenheid.

Fase 3: zHBM plaatst geheugen boven de rekenchip

zHBM is de meest ingrijpende stap. In een conventioneel HBM-pakket staan de AI-processor en de HBM-stacks naast elkaar op een interposer. Samsung wil met zHBM de processor rechtstreeks onder de DRAM-stack plaatsen, zodat een echte 3D-structuur voor rekenwerk en geheugen ontstaat. 3732

Door de verticale opstelling hoeft data in principe een kortere weg af te leggen. Een brede randinterface kan plaatsmaken voor dichtere, over de chip verdeelde verticale verbindingen. Dat zou kunnen leiden tot:

• hogere bandbreedte dankzij een veel bredere verbinding;
• lager I/O-verbruik doordat signalen een kortere afstand afleggen;
• efficiëntere datalevering voor training en inferentie van AI-modellen; en
• een kleinere horizontale footprint, omdat HBM niet langer rondom de processor hoeft te liggen. 13732

zHBM is daarom meer dan simpelweg “sneller HBM”. De technologie verandert de fysieke verhouding tussen geheugen en rekenkracht. Het uiteindelijke voordeel hangt niet alleen af van de DRAM-snelheid, maar ook van de pakketopbouw, interface, stroomvoorziening, koeling en de mate waarin een werklast gevoelig is voor dataverplaatsing.

Hoe verhouden de doelen zich tot HBM5?

Samsung gebruikt verschillende vergelijkingspunten en meetmethoden. De cijfers moeten daarom als afzonderlijke doelen worden gelezen, niet als één rechtstreeks vergelijkbare benchmark.

• HBM5 tegenover HBM4E: Samsung mikt op een tweemaal zo hoge prestatie, 20 procent meer prestaties per watt en 20 procent lagere thermische weerstand. Rapporten plaatsen massaproductie rond 2028, maar HBM5 is nog een roadmapgeneratie en geen breed gevestigd product. 4101214
• zHBM tegenover HBM4E: In een vergelijking rond Hot Chips werd gesproken over ongeveer 70 procent lager DRAM-verbruik en meer dan 2,3 keer zoveel DRAM-bandbreedte. 111
• Langetermijndoelen voor zHBM: Samsung heeft ook doelen genoemd van maximaal acht keer hogere prestaties, drie keer hogere prestaties per watt en een vermindering van de thermische weerstand met 75 tot 90 procent ten opzichte van HBM4E. 21314

Het verschil tussen “2,3 keer zoveel bandbreedte” en “acht keer zoveel prestaties” is niet automatisch tegenstrijdig. Bandbreedte, DRAM-verbruik, applicatieprestaties en prestaties per watt meten verschillende zaken en kunnen op verschillende configuraties zijn gebaseerd. In het beschikbare materiaal staat niet genoeg methodologie om alle cijfers onafhankelijk met elkaar te verzoenen. Het zijn daarom architectuurdoelen, geen enkelvoudig benchmarkresultaat. 11014

De plaats van zHBM binnen Samsungs CUBE-strategie

Samsung beschrijft CUBE aan de hand van vier doelen: Capacity, Utilization, Bandwidth en Efficiency — capaciteit, benutting, bandbreedte en efficiëntie. Volgens het bedrijf hebben AI-systemen niet alleen snellere geheugeninterfaces nodig, maar ook een slimmere plaatsing en benutting van geheugen in drie dimensies. 257

De drie HBM-fasen sluiten daarop aan:

• Capaciteit: geheugenuitbreiding via de basislaag kan extra geheugenniveaus mogelijk maken, terwijl verticale stacking de dichtheid verhoogt zonder het pakket horizontaal groter te maken. 418
• Benutting: telemetrie, besturingslogica en geselecteerde verwerking dicht bij het geheugen kunnen bestaande capaciteit en bandbreedte nuttiger maken voor specifieke taken. 1827
• Bandbreedte: verticale verbindingen verkleinen de fysieke afstand tussen rekenchip en geheugen en maken dichtere I/O mogelijk. 37
• Efficiëntie: minder dataverplaatsing en minder interface-overhead kunnen energie besparen. Betere thermische monitoring kan systemen bovendien helpen dichter bij hun maximale prestaties te werken. 1511

zHBM is daarmee de duidelijkste uitwerking van Samsungs aanpak rond geheugen op de Z-as: omhoog bouwen om de dichtheid te verhogen en de communicatieafstand te verkleinen, in plaats van een 2,5D-pakket steeds verder zijwaarts uit te breiden. 713

Welke technische problemen moeten nog worden opgelost?

Warmteafvoer

Een krachtige processor onder een DRAM-stack plaatsen maakt koeling moeilijker. De rekenchip ligt verder van het koelpad, terwijl DRAM binnen een relatief beperkt temperatuurbereik moet blijven. Een gemelde vermindering van de thermische weerstand is daarom een ontwerpdoel en geen automatisch voordeel van 3D-stacking. Samsung en zijn productiepartners moeten nog aantonen dat prestaties, geheugenbetrouwbaarheid en koeling in een productieklare verpakking samen kunnen gaan. 1419

Bonding, uitlijning en opbrengst

Een directe 3D-structuur vereist uiterst nauwkeurige bonding en uitlijning over grote contactvlakken. Het dunner maken van wafers, TSV-integratie, beheersing van kromtrekken, foutdetectie en bonding met hoge opbrengst worden belangrijker wanneer processor en geheugen fysiek worden samengevoegd. Een defect in één van beide kan de waarde van het volledige pakket aantasten. Tests met bekende goede chips, reparatiefuncties en toegang tot tests na bonding worden daardoor cruciaal. De geplande betrouwbaarheids- en zelftestfuncties in de basislaag laten zien hoe nauw packaging en testen met de architectuur verweven zijn. 2728

Stroomvoorziening en signaalintegriteit

Een zeer brede verticale interface heeft nog steeds een stabiele stroomvoorziening, nauwkeurige timing, kloksignalen en ruisbeheersing nodig. Een hogere theoretische bandbreedte leidt niet vanzelf tot betere applicatieprestaties als stroomintegriteit, thermische throttling of signaalkwaliteit de langdurige werking beperken.

Stapelhoogte en mechanische beperkingen

Meer verticale lagen kunnen het pakket dikker maken en mechanische spanning en koelproblemen vergroten. Het uiteindelijke ontwerp moet capaciteit en bandbreedte afwegen tegen stapelhoogte, kromtrekken, produceerbaarheid en de grenzen van substraat en moederbord.

Gezamenlijk ontwerp van processor en geheugen

Standaard-HBM kan relatief modulair in een systeem worden geïntegreerd. aHBM en vooral zHBM vereisen veel nauwere afstemming tussen accelerator, basislaag, pakket, firmware, runtime en software. Interfacebeheer, coherentie, foutafhandeling en bewerkingen dicht bij het geheugen moeten gezamenlijk worden ontworpen. Dat kan meer specialisatie opleveren, maar kan de uitwisselbaarheid verminderen die conventionele HBM-systemen juist aantrekkelijk maakt.

Timing en ecosysteem

zHBM is nog een toekomstconcept. Rapporten plaatsen commercialisering na 2029. De planning en prestatieclaims hangen af van de volwassenheid van geavanceerde packaging, klantacceptatie, standaarden, productieopbrengst en kosten. 8914

De praktische conclusie

Samsungs roadmap kan het best worden gezien als een geleidelijke verschuiving van intelligentie richting de geheugenstack:

1. cHBM draait vooral om het terugwinnen van acceleratoroppervlak en het verplaatsen van interface- en besturingstaken.
2. aHBM maakt van de basislaag een gecontroleerd, uitbreidbaar en beperkt programmeerbaar geheugensubsysteem.
3. zHBM voegt rekenkracht en geheugen fysiek samen door de processor onder de DRAM-stack te plaatsen.

De mogelijke opbrengst is aanzienlijk: minder I/O-energie, meer bruikbaar acceleratoroppervlak, hogere effectieve bandbreedte en betere prestaties per watt. Tegelijk verschuift de moeilijkste opgave bij zHBM van geheugeninterface-ontwerp naar thermische engineering, bonding, productieopbrengst, testen en gezamenlijk systeemontwerp. Voorlopig is zHBM dus vooral een ambitieuze richting met bijbehorende doelen — nog geen bewijs dat een productieklare 3D-AI-chip die cijfers daadwerkelijk haalt.