Samsungs HBM-plan går fra 4 nm-baseterning til zHBM

Samsung er ved at ændre HBM’s rolle i AI-systemet. I dag fungerer den nederste logikdel i høj grad som forbindelses- og kontrollag. I Samsungs roadmap skal den først overtage flere styringsfunktioner, derefter få sensorer, hukommelsesudvidelse og begrænset databehandling – og til sidst indgå i en vertikalt integreret konstruktion, hvor AI-processoren ligger direkte under DRAM-stakken.

Slutmålet hedder zHBM. Men Samsungs markante tal for ydelse, strømforbrug og varme er mål for en fremtidig arkitektur, ikke dokumenterede benchmarks fra masseproducerede zHBM-produkter. 1713

Roadmapet kort fortalt

Fase	Den vigtigste ændring	Den forventede fordel
Fase 1: custom HBM (cHBM)	Hukommelsescontrolleren og et mere kompakt die-to-die-interface flyttes ind i HBM’s logikbaseterning	Mere plads i AI-acceleratoren og mindre energiforbrug til datatransport
Fase 2: advanced HBM (aHBM)	Baseterningen får telemetri, controllere til hukommelsesudvidelse og udvalgte beregningsenheder	Bedre styring, større kapacitet og mere effektiv behandling tæt på data
Fase 3: zHBM	DRAM/HBM-stakken placeres direkte over AI-processoren	Kortere forbindelser, tættere vertikal I/O og en mindre sideværts pakke

Det afgørende er, at baseterningen gradvist går fra at være et primært kontrol- og forbindelseslag til at blive et egentligt logiksubsystem – og i sidste ende en del af en samlet 3D-struktur for beregning og hukommelse. 182027

Fase 1: cHBM frigør plads i AI-acceleratoren

Samsungs HBM4-udgangspunkt kombinerer 1c-DRAM med en 4 nm-logikbaseterning. Samsung oplyser, at HBM4 kan nå op til 13 Gb/s og op til 3.300 GB/s båndbredde pr. stak. Det er tal for HBM4-produktet og ikke specifikationer for den senere zHBM-idé. 3537

I første fase vil Samsung erstatte det traditionelle, større HBM-PHY i AI-acceleratoren med et mere kompakt die-to-die-interface. Samtidig flyttes dele af hukommelsescontrollerens funktioner fra acceleratoren til HBM-baseterningen. 1720

Det kan give to umiddelbare fordele:

• Mere plads til selve acceleratoren: Området, der tidligere blev brugt til hukommelsesstyring og interface-logik, kan i stedet anvendes til beregningsenheder, cache eller specialiseret logik.
• Kortere elektrisk signalvej: Når flere funktioner placeres i baseterningen, kan afstanden og overheaden mellem accelerator og HBM reduceres. Det kan forbedre energieffektiviteten i interfacet. 13

Nogle rapporter omtaler en mulig frigivelse af 5–10 % af acceleratorens areal og en ydelsesforbedring på 10–20 %. Tallene stammer fra rapporteret roadmap-materiale og bør ikke opfattes som et universelt resultat for alle AI-processorer. 1729

Fase 2: aHBM gør baseterningen intelligent

I anden fase skal den frigjorte plads bruges til flere funktioner. Samsungs aHBM-koncept omfatter sensorer og realtidstelemetri for blandt andet temperatur og spænding samt funktioner til pålidelighed og selvtest. Det kan give systemet et mere præcist billede af hukommelsesstakkens tilstand og gøre det muligt at reagere bedre på ændringer i driften. 182728

Baseterningen kan også fungere som interface til hukommelsesudvidelse. Den kan i princippet forbinde yderligere HBM eller andre hukommelsestyper som LPDDR. Dermed får systemdesignere en ekstra mulighed for at udvide den tilgængelige hukommelse uden udelukkende at være afhængige af den lokale HBM-stak. 182829

Samsung har desuden foreslået at placere beregningsenheder i baseterningen. De skal ikke erstatte en almindelig GPU eller AI-accelerator. Tanken er snarere at håndtere udvalgte, hukommelsesintensive operationer tæt på data, så noget af trafikken gennem pakken undgås, og HBM-kapacitet og -båndbredde udnyttes bedre. 61927

Det er overgangsfasen i planen: HBM står fortsat ved siden af processoren i en 2,5D-pakke, men baseterningen begynder at fungere mere som et intelligent I/O- og behandlingssubsystem.

Fase 3: zHBM placerer hukommelsen direkte over processoren

zHBM er det mest gennemgribende skridt. I en konventionel HBM-pakke ligger processoren og HBM-stakkene side om side på en interposer – et mellemlag, der forbinder chipperne. Samsungs zHBM-koncept placerer i stedet processoren direkte under DRAM-stakken og skaber dermed en ægte 3D-struktur for beregning og hukommelse. 3732

Den vertikale opbygning skal forkorte den strækning, data skal tilbagelægge, og erstatte et stort kantorienteret interface med tættere, distribuerede vertikale forbindelser. I teorien kan det føre til:

• højere båndbredde via en langt bredere forbindelse,
• lavere I/O-forbrug, fordi signalerne bevæger sig over kortere afstande,
• mere effektiv datalevering til AI-træning og inferens, og
• et mindre sideværts pakkeareal, fordi HBM ikke længere behøver at ligge rundt om processoren. 13732

Derfor er zHBM mere end blot “hurtigere HBM”. Teknologien ændrer selve det fysiske forhold mellem hukommelse og beregning. Den endelige gevinst afhænger ikke kun af DRAM-hastigheden, men også af pakkens topologi, interface-designet, strømforsyningen, kølingen og den konkrete arbejdsbelastnings følsomhed over for datatransport.

Hvordan står målene i forhold til HBM5?

Samsung bruger forskellige sammenligningsgrundlag og målemetoder i sine offentliggjorte og rapporterede mål. Tallene bør derfor læses som separate påstande – ikke som ét samlet, direkte sammenligneligt benchmark.

• HBM5 sammenlignet med HBM4E: Samsung sigter mod dobbelt ydelse, 20 % højere ydelse pr. watt og 20 % lavere termisk modstand. Rapporter placerer masseproduktion omkring 2028, men HBM5 er fortsat en roadmap-generation og ikke en bredt etableret produktionsstandard. 4101214
• zHBM sammenlignet med HBM4E: En sammenligning med udgangspunkt i en Hot Chips-præsentation angiver omkring 70 % lavere DRAM-forbrug og mere end 2,3 gange så høj DRAM-båndbredde. 111
• Langsigtede zHBM-mål: Samsung har også præsenteret mål om op til otte gange højere ydelse, tre gange højere ydelse pr. watt og 75–90 % lavere termisk modstand sammenlignet med HBM4E. 21314

Forskellen mellem “2,3 gange højere båndbredde” og “otte gange højere ydelse” er ikke nødvendigvis en selvmodsigelse. Båndbredde, DRAM-forbrug, applikationsydelse og ydelse pr. watt måler forskellige ting og kan være baseret på forskellige konfigurationer. Det tilgængelige materiale indeholder ikke nok metodebeskrivelse til uafhængigt at få alle tallene til at stemme overens. De bør derfor behandles som arkitekturmål og ikke som ét enkelt benchmarkresultat. 11014

zHBM er den tydeligste udgave af Samsungs CUBE-strategi

Samsung beskriver CUBE som en strategi bygget op omkring fire mål: Capacity, Utilization, Bandwidth og Efficiency – altså kapacitet, udnyttelse, båndbredde og effektivitet. Virksomhedens argument er, at AI-systemer ikke kun har brug for hurtigere hukommelsesinterfaces. Hukommelsen skal også placeres og bruges mere intelligent i tre dimensioner. 257

De tre HBM-faser passer direkte ind i de fire mål:

• Kapacitet: Hukommelsesudvidelse via baseterningen kan forbinde flere hukommelseslag, mens vertikal stabling øger tætheden uden at udvide pakken tilsvarende i bredden. 418
• Udnyttelse: Telemetri, kontrol-logik og udvalgt databehandling tæt på hukommelsen kan gøre eksisterende kapacitet og båndbredde mere nyttig for bestemte arbejdsbelastninger. 1827
• Båndbredde: Direkte vertikale forbindelser mindsker den fysiske afstand mellem beregning og hukommelse og skaber plads til tættere I/O. 37
• Effektivitet: Mindre datatransport og lavere interface-overhead kan reducere strømforbruget, mens bedre termisk overvågning kan hjælpe systemet med at holde sig tættere på sine ydeevnegrænser. 1511

zHBM er dermed den klareste udgave af Samsungs tilgang med hukommelse på Z-aksen: Byg opad for at øge tætheden og forkorte kommunikationsvejen i stedet for fortsat at udvide en sideordnet 2,5D-pakke. 713

De store tekniske problemer er ikke løst endnu

Varmehåndtering

Når en strømkrævende processor placeres under en DRAM-stak, bliver varmeafledningen vanskeligere. Beregningschippen ligger længere fra kølefladen, mens DRAM samtidig skal holdes inden for et relativt snævert temperaturområde.

Samsungs rapporterede reduktion i termisk modstand er derfor et designmål – ikke en automatisk fordel ved 3D-stabling. Samsung og virksomhedens produktionspartnere skal dokumentere, at ydelse, hukommelsesstabilitet og kølekrav kan forenes i en produktionsklar pakke. 1419

Sammenbinding, justering og udbytte

En direkte 3D-struktur kræver ekstremt præcis sammenbinding og justering over store grænseflader. Udtynding af wafere, TSV-integration, kontrol af skævhed, defekthåndtering og binding med højt produktionsudbytte bliver vigtigere, når processor og hukommelse fysisk kobles sammen.

En fejl i blot den ene del af pakken kan påvirke værdien af hele samlingen. Derfor bliver test af kendte gode chipdies, reparationsmekanismer og adgang til test efter sammenbinding afgørende. Samsungs plan om flere pålideligheds- og selvtestfunktioner i baseterningen viser netop, hvor tæt emballering og test hænger sammen med arkitekturen. 2728

Strømforsyning og signalintegritet

Et meget bredt vertikalt interface kræver stabil strømforsyning, præcis timing, clocking og kontrol af støj. Høj teoretisk båndbredde garanterer ikke højere ydelse i den færdige applikation, hvis strømforsyning, termisk drosling eller signalkvalitet begrænser den vedvarende drift.

Stakhøjde og mekaniske begrænsninger

Flere vertikale lag kan øge pakkens tykkelse, den mekaniske belastning og kompleksiteten i kølevejen. Det endelige design skal balancere kapacitet og båndbredde mod stakhøjde, skævhed, produktionsmuligheder samt begrænsninger i substrat og systemkort.

Tæt co-design mellem processor og hukommelse

Standard-HBM kan integreres som en forholdsvis modulær hukommelseskomponent. aHBM – og især zHBM – kræver langt tættere koordinering mellem accelerator, logikbaseterning, pakke, firmware, runtime-system og software.

Interfaces, ejerskab over styringsfunktioner, koherens, fejlhåndtering og operationer tæt på hukommelsen skal designes samlet. Det kan give bedre specialisering, men kan også gøre systemet mindre udskifteligt end traditionelle løsninger baseret på standard-HBM.

Tidspunkt og økosystem

zHBM er fortsat et fremtidigt koncept, og rapporter placerer kommercialisering efter 2029. Tidsplanen og præstationsmålene afhænger af modenheden i avanceret pakning, kundernes interesse, standarder, produktionsudbytte og omkostninger. 8914

Den praktiske konklusion

Samsungs roadmap kan bedst forstås som en gradvis flytning af intelligens hen mod hukommelsesstakken:

1. cHBM handler først og fremmest om at frigøre acceleratorareal og flytte interface- og kontrolarbejde væk fra processoren.
2. aHBM gør baseterningen til et overvåget, udvideligt og delvist programmerbart hukommelsessubsystem.
3. zHBM samler beregning og hukommelse fysisk ved at placere processoren under DRAM-stakken.

Gevinsten kan blive betydelig: mindre I/O-forbrug, mere anvendeligt acceleratorareal, tættere båndbredde og bedre ydelse pr. watt. Men i den sidste fase flyttes de vanskeligste problemer samtidig fra selve hukommelsesinterfacet til varmehåndtering, sammenbinding, produktionsudbytte, test og systemdesign.

For nu er zHBM derfor en ambitiøs retning understøttet af mål – ikke et bevis på, at en produktionsklar 3D-pakke til AI allerede kan levere tallene.