Samsungs tredelade HBM-plan leder minnet rakt in i 3D-eran

Samsung utvecklar HBM-minnet i tre steg: först flyttas minneskontroll och gränssnitt till HBM-stackens baschip, sedan byggs sensorer, minnesutbyggnad och enklare beräkningsfunktioner in – och till sist placeras AI-processorn direkt under DRAM-stackens lager i en verklig 3D-konstruktion. Slutmålet kallas zHBM.

Det är dock viktigt att skilja på demonstrerad produktprestanda och framtida mål. Samsungs siffror för zHBM är arkitekturmål och inte resultat från ett färdigt massproducerat system. 1713

Samsungs HBM-plan i korthet

Fas	Viktigaste arkitekturförändringen	Förväntad nytta
Fas 1: custom HBM (cHBM)	Minneskontrollern och ett kompakt die-to-die-gränssnitt flyttas till HBM:s logikbas	Mer kiselyta på acceleratorn och mindre kostnad för datarörelser
Fas 2: advanced HBM (aHBM)	Telemetri, minnesutbyggnad och utvalda beräkningsenheter läggs till i baslagret	Bättre minneshantering, högre kapacitet och effektivare databehandling nära minnet
Fas 3: zHBM	DRAM/HBM staplas direkt ovanpå AI-processorn	Kortare väg mellan beräkning och minne samt tätare vertikal anslutning

Utvecklingen förändrar gradvis baschipets roll. Det som först främst fungerar som ett lager för anslutning och styrning blir ett allt mer avancerat logiksystem – och i slutänden en del av en vertikalt integrerad beräknings- och minneskonstruktion. 182027

Fas 1: cHBM flyttar kontrollen från acceleratorn

Samsungs HBM4-utgångspunkt kombinerar 1c-DRAM med ett 4 nm-baserat logikchip. Företaget uppger att HBM4 kan nå upp till 13 Gbit/s och en bandbredd på upp till 3 300 GB/s per stack. Det är produktuppgifter för HBM4, inte specifikationer för det senare zHBM-konceptet. 3537

I den första fasen ersätts det traditionella, större HBM-PHY:t på AI-acceleratorn av ett mer kompakt die-to-die-gränssnitt. Samtidigt flyttas minneskontrollerns funktioner från acceleratorn till HBM:s logikbas. 1720

Det kan ge två tydliga fördelar:

• Större acceleratorarea: Kiselyta som tidigare användes för minneskontroll och gränssnitt kan i stället användas för beräkningsenheter, cache eller specialiserad logik.
• Kortare elektrisk väg: När funktionerna flyttas till baschipet kan avståndet och överföringskostnaden mellan acceleratorn och HBM minska, vilket kan förbättra energieffektiviteten i gränssnittet. 13

Vissa rapporter nämner att 5–10 procent av acceleratorns yta kan frigöras och att prestandan därmed kan öka med 10–20 procent. Uppgifterna kommer från rapporterat färdplanmaterial och ska inte tolkas som ett garanterat resultat för alla AI-processorer. 1729

Fas 2: aHBM gör baschipet till ett aktivt delsystem

I den andra fasen används den frigjorda kiselytan till fler funktioner. Samsungs aHBM-koncept omfattar sensorer och realtidstelemetri för exempelvis temperatur och spänning, samt funktioner för tillförlitlighet och självtest. Informationen kan göra det möjligt att anpassa systemets drift bättre efter aktuella förhållanden och övervaka minnesstacken mer noggrant. 182728

Baschipet kan också fungera som gränssnitt för minnesutbyggnad, med anslutning till ytterligare HBM eller andra minnestyper som LPDDR. Det skulle ge systembyggare ett extra sätt att öka den användbara minneskapaciteten utan att enbart förlita sig på den lokala HBM-stacken. 182829

Samsung har dessutom föreslagit att beräkningsenheter ska placeras i baschipet. De ska inte ersätta en generell GPU eller AI-accelerator. Tanken är i stället att de ska hantera utvalda, minnesintensiva operationer nära datan. På så sätt kan viss trafik genom paketet undvikas och minnesresurserna utnyttjas bättre. 61927

Det här är färdplanens övergångsfas: HBM ligger fortfarande bredvid processorn i ett 2,5D-paket, men baschipet börjar fungera mer som ett intelligent I/O- och beräkningsdelsystem.

Fas 3: zHBM placerar minnet direkt ovanför beräkningen

zHBM är det mest långtgående steget. I ett konventionellt HBM-paket ligger AI-acceleratorn och HBM-stackarna sida vid sida på en interposer. Samsungs zHBM-koncept placerar i stället processorn direkt under DRAM-stacken och skapar en verklig 3D-struktur för beräkning och minne. 3732

Den vertikala konstruktionen ska korta den väg som datan behöver färdas och ersätta ett stort, kantbaserat gränssnitt med tätare och mer distribuerade vertikala anslutningar. I princip kan det ge:

• högre bandbredd genom en betydligt bredare anslutning,
• lägre I/O-förbrukning eftersom signalerna färdas en kortare sträcka,
• effektivare dataöverföring för AI-träning och inferens, samt
• ett mindre paket i sidled, eftersom HBM inte längre behöver placeras runt processorn. 13732

Det är därför zHBM är mer än bara ”snabbare HBM”. Tekniken förändrar det fysiska förhållandet mellan minne och beräkning. Den verkliga nyttan beror inte enbart på DRAM-hastigheten, utan även på paketering, gränssnitt, strömförsörjning och hur känslig arbetslasten är för datarörelser.

Hur målen förhåller sig till HBM5

Samsungs publicerade och rapporterade mål använder olika jämförelsepunkter och mätetal. De bör därför läsas som separata påståenden, inte som ett enda direkt jämförbart benchmarkresultat:

• HBM5 jämfört med HBM4E: Samsung siktar på dubbla prestandan, 20 procent högre prestanda per watt och 20 procent lägre termiskt motstånd. Rapporter placerar massproduktion omkring 2028, men HBM5 är fortfarande en färdplansgeneration och inte en brett etablerad produktstandard. 4101214
• zHBM jämfört med HBM4E: En jämförelse med koppling till Hot Chips uppgav omkring 70 procent lägre DRAM-förbrukning och mer än 2,3 gånger högre DRAM-bandbredd. 111
• Långsiktiga zHBM-mål: Samsung har också presenterat mål på upp till åtta gånger högre prestanda, tre gånger högre prestanda per watt och 75–90 procent lägre termiskt motstånd jämfört med HBM4E. 21314

Skillnaden mellan ”2,3 gånger högre bandbredd” och ”åtta gånger högre prestanda” är inte automatiskt motsägelsefull. Bandbredd, DRAM-förbrukning, applikationsprestanda och prestanda per watt mäter olika saker och kan bygga på olika konfigurationer. Det underlag som finns tillgängligt räcker inte för att oberoende förena alla siffror i ett gemensamt testresultat. De bör därför ses som arkitekturmål. 11014

Varför planen passar Samsungs CUBE-strategi

Samsung beskriver CUBE som en strategi byggd kring fyra mål: Capacity, Utilization, Bandwidth och Efficiency – kapacitet, utnyttjande, bandbredd samt energi- och värmeeffektivitet. Företagets argument är att AI-system behöver mer än successivt snabbare minnesgränssnitt. Minnet måste också placeras och användas smartare i tre dimensioner. 257

De tre HBM-faserna knyter an till dessa mål:

• Kapacitet: Minnesutbyggnad via baschipet kan ansluta fler minnesnivåer, medan vertikal stapling ökar tätheten utan att paketet behöver växa lika mycket i sidled. 418
• Utnyttjande: Telemetri, kontrollogik och utvalda beräkningar nära minnet kan göra befintlig kapacitet och bandbredd mer användbar för specifika arbetslaster. 1827
• Bandbredd: Direkta vertikala anslutningar minskar avståndet mellan beräkning och minne och skapar utrymme för tätare I/O. 37
• Effektivitet: Mindre datatrafik och lägre gränssnittskostnader kan minska energiförbrukningen, medan bättre övervakning av värme kan hjälpa systemet att arbeta närmare sina gränser. 1511

zHBM är därmed det tydligaste uttrycket för Samsungs idé om minne längs Z-axeln: bygg uppåt för att öka tätheten och minska kommunikationsavståndet, i stället för att fortsätta bredda ett sidoställt 2,5D-paket. 713

De tekniska problemen som återstår

Värmehantering

När en effekthungrig processor placeras under en DRAM-stack blir värmeavledningen svårare. Beräkningschipet hamnar längre från kylvägen, samtidigt som DRAM-minnet måste hållas inom ett relativt begränsat temperaturintervall. Samsungs uppgifter om minskat termiskt motstånd är därför ett konstruktionsmål – inte en automatisk följd av 3D-stapling. Företaget och dess tillverkningspartner måste visa att prestanda, minnespålitlighet och kylning går att förena i ett produktionspaket. 1419

Bindning, linjering och utbyte

En direkt 3D-konstruktion kräver mycket exakt bindning och linjering över stora kontaktytor. Tunnare wafer-skivor, TSV-integration, kontroll av skevhet, defekthantering och bindning med högt utbyte blir viktigare när processor och minne förenas fysiskt.

Ett fel i någon av paketeringens centrala delar kan påverka värdet på hela enheten. Därför blir testning av fungerande chip före sammanfogning, reparationsfunktioner och teståtkomst efter bindningen avgörande. Samsungs planerade funktioner för utökad tillförlitlighet och självtest i baschipet visar hur nära paketering och test hänger samman med arkitekturen. 2728

Strömförsörjning och signalintegritet

Även ett mycket brett vertikalt gränssnitt behöver stabil strömförsörjning, korrekt timing, klockning och kontroll av störningar. Högre teoretisk bandbredd garanterar inte högre applikationsprestanda om strömkvalitet, termisk strypning eller signalproblem begränsar den långvariga driften.

Stackhöjd och mekaniska begränsningar

Mer struktur på höjden kan öka paketets tjocklek, mekaniska spänningar och komplexiteten i kylvägen. Den slutliga konstruktionen måste väga kapacitet och bandbredd mot stackhöjd, skevhet, tillverkningsbarhet samt begränsningarna i substrat och systemkort.

Gemensam utveckling av processor och minne

Standardiserad HBM kan integreras som en relativt modulär minneskomponent. aHBM och framför allt zHBM kräver däremot tätare samordning mellan accelerator, baschip, kapsling, firmware, körmiljö och mjukvarustack. Gränssnitt, kontroll, koherens, felhantering och beräkningar nära minnet måste utformas tillsammans.

Det kan ge bättre specialisering, men också göra systemet mindre utbytbart än traditionella konstruktioner med HBM.

Tidplan och ekosystem

zHBM är fortfarande ett framtida koncept, och rapporter placerar kommersialiseringen efter 2029. Tidplanen och prestandamålen beror på hur snabbt avancerad paketering mognar, om kunderna antar tekniken, vilka standarder som etableras samt om utbyte och kostnad blir kommersiellt rimliga. 8914

Slutsatsen: en stegvis förflyttning av intelligensen mot minnet

Samsungs färdplan kan sammanfattas som en gradvis förflyttning av funktioner mot HBM-stackens baslager:

1. cHBM handlar främst om att frigöra acceleratorarea och flytta gränssnitts- och kontrollarbete från processorn.
2. aHBM gör baschipet till ett övervakat, utbyggbart och delvis programmerbart minnesdelsystem.
3. zHBM förenar beräkning och minne fysiskt genom att placera processorn under DRAM-stacken.

Den möjliga vinsten är betydande: mindre I/O-förbrukning, mer användbar kiselyta i AI-acceleratorn, tätare bandbredd och bättre prestanda per watt. Men den sista fasen flyttar också de svåraste problemen från själva minnesgränssnittet till värmehantering, bindning, utbyte, testning och samutveckling av hela systemet.

För närvarande är zHBM därför en ambitiös riktning med tydliga mål – inte ett bevis på att ett massproducerat 3D-paket för AI redan kan leverera de utlovade resultaten.