Slik vil Samsung flytte AI-minnet fra siden til rett over prosessoren

Samsungs HBM-strategi utvikler seg i tre tydelige trinn. Først flyttes minnekontroll og grensesnittfunksjoner inn i HBM-brikkens logiske baselag. Deretter får baselaget sensorer, minneutvidelse og enkelte beregningsfunksjoner. Til slutt skal AI-prosessoren plasseres direkte under DRAM-stakken i en ekte 3D-konstruksjon. Målet er zHBM, men de mest oppsiktsvekkende ytelsestallene er foreløpig mål for en fremtidig arkitektur – ikke dokumenterte resultater fra masseproduserte brikker. 1713

Veikartet kort oppsummert

Fase	Viktigste endring	Hva Samsung vil oppnå
Fase 1: cHBM	Minnekontrolleren og et mer kompakt brikke-til-brikke-grensesnitt flyttes til HBM-baselaget	Frigjøre areal på akseleratoren og redusere kostnaden ved dataflytting
Fase 2: aHBM	Telemetri, minneutvidelse og utvalgte beregningsenheter legges til baselaget	Bedre minnehåndtering, kapasitet og utnyttelse nær dataene
Fase 3: zHBM	DRAM/HBM-stakken plasseres direkte over AI-akseleratoren	Kortere vei mellom prosessor og minne og tettere vertikale forbindelser

Det viktige er at baselaget gradvis får en ny rolle. I stedet for hovedsakelig å fungere som et kontroll- og tilkoblingslag blir det et mer avansert logikkundersystem – og til slutt en del av en vertikalt integrert kombinasjon av databehandling og minne. 182027

Fase 1: cHBM flytter kontrollarbeidet bort fra akseleratoren

Samsungs HBM4-utgangspunkt kombinerer 1c-DRAM med et 4 nm logisk baselag. Samsung oppgir at HBM4 kan nå opptil 13 Gbps og opptil 3 300 GB/s båndbredde per stakk. Dette er imidlertid HBM4-tall, ikke spesifikasjoner for den senere zHBM-konseptet. 3537

I første fase erstattes det tradisjonelle, større HBM-PHY-et på AI-akseleratoren med et mer kompakt brikke-til-brikke-grensesnitt. Samtidig flyttes funksjoner i minnekontrolleren fra akseleratoren til HBM-baselaget. 1720

Det kan gi to hovedfordeler:

• Mer plass på akseleratoren: Silisium som tidligere ble brukt til minnekontroll og grensesnitt, kan i stedet brukes til beregningsenheter, hurtigbuffer eller spesialtilpasset logikk.
• Kortere elektrisk signalvei: Når flere funksjoner flyttes til baselaget, kan kommunikasjonen mellom akselerator og HBM bli kortere og mer energieffektiv. 13

Enkelte rapporter viser til at 5–10 prosent av akseleratorens areal kan frigjøres, med en mulig ytelsesøkning på 10–20 prosent. Tallene stammer fra rapportert veikartmateriale og bør derfor ikke tolkes som et universelt resultat for alle AI-prosessorer. 1729

Fase 2: aHBM gjør baselaget til et aktivt undersystem

I andre fase brukes mer av det frigjorte arealet i baselaget til nye funksjoner. Samsungs aHBM-konsept omfatter sensorer og sanntidstelemetri for blant annet temperatur og spenning, i tillegg til funksjoner for pålitelighet og selvtesting. Slik informasjon kan gjøre det mulig å tilpasse driften bedre etter forholdene og overvåke minnestakken mer presist. 182728

Baselaget kan også fungere som et grensesnitt for minneutvidelse, med tilkobling til ekstra HBM eller andre minnetyper som LPDDR. Det gir systemdesignere en ny måte å øke den tilgjengelige minnekapasiteten på uten å være avhengig av én lokal HBM-stakk. 182829

Samsung har dessuten foreslått å plassere beregningsenheter i baselaget. Disse skal ikke erstatte en generell GPU eller AI-akselerator. Rollen vil heller være å håndtere utvalgte, minneintensive operasjoner nær dataene. Det kan redusere trafikken gjennom pakken og gi bedre utnyttelse av minnebåndbredden. 61927

Dette er overgangsfasen i veikartet: HBM ligger fortsatt ved siden av prosessoren i en 2,5D-pakke, men baselaget begynner å fungere mer som et intelligent I/O- og beregningsundersystem.

Fase 3: zHBM stabler minnet direkte over beregning

zHBM er det mest omfattende steget. I en konvensjonell HBM-pakke ligger akseleratoren og HBM-stakkene side om side på en interposer. Samsungs zHBM-konsept plasserer i stedet prosessoren direkte under DRAM-stakken og skaper en ekte 3D-struktur for databehandling og minne. 3732

Målet er å korte ned avstanden dataene må bevege seg, samtidig som et stort grensesnitt langs kanten erstattes av tettere, distribuerte vertikale forbindelser. I prinsippet kan det gi:

• høyere båndbredde gjennom en langt bredere forbindelse,
• lavere I/O-effekt fordi signalene tilbakelegger en kortere avstand,
• mer effektiv datalevering til trening og inferens av AI-modeller, og
• mindre plassbehov i bredden fordi HBM ikke lenger må ligge rundt prosessoren. 13732

Derfor handler zHBM om mer enn «raskere HBM». Arkitekturen endrer selve forholdet mellom minne og beregning. Gevinsten vil ikke bare avhenge av DRAM-hastighet, men også av pakkens oppbygning, grensesnittet, strømforsyningen, kjølingen og hvor følsom arbeidsbelastningen er for dataflytting.

Hvordan målene står seg mot HBM5

Samsungs publiserte og rapporterte tall bruker ulike sammenligningsgrunnlag og målemetoder. De bør derfor leses som separate mål, ikke som én direkte sammenlignbar test:

• HBM5 mot HBM4E: Samsung sikter mot dobbelt så høy ytelse, 20 prosent bedre ytelse per watt og 20 prosent lavere termisk motstand. Rapporter plasserer masseproduksjon rundt 2028, men HBM5 er fortsatt en fremtidig generasjon og ikke en bredt etablert produksjonsstandard. 4101214
• zHBM mot HBM4E: En sammenligning knyttet til Hot Chips viste rundt 70 prosent lavere DRAM-effekt og mer enn 2,3 ganger høyere DRAM-båndbredde. 111
• Langsiktige zHBM-mål: Samsung har også presentert mål om opptil åtte ganger høyere ytelse, tre ganger bedre ytelse per watt og 75–90 prosent lavere termisk motstand sammenlignet med HBM4E. 21314

Forskjellen mellom «2,3 ganger høyere båndbredde» og «åtte ganger høyere ytelse» er ikke nødvendigvis selvmotsigende. Båndbredde, DRAM-effekt, ytelse i selve applikasjonen og ytelse per watt måler ulike egenskaper og kan være basert på forskjellige konfigurasjoner. Materialet som er tilgjengelig her, inneholder ikke nok metodebeskrivelse til å kontrollere og forene alle tallene uavhengig. De bør derfor behandles som arkitekturmål, ikke som ett samlet benchmarkresultat. 11014

Hvorfor veikartet passer inn i Samsungs CUBE-strategi

Samsung beskriver CUBE som en strategi bygget rundt fire mål: Capacity, Utilization, Bandwidth og Efficiency – altså kapasitet, utnyttelse, båndbredde og effektivitet. Selskapets poeng er at AI-systemer trenger mer enn stadig raskere minnegrensesnitt. Minnet må også plasseres og brukes smartere i tre dimensjoner. 257

De tre HBM-fasene følger denne logikken:

• Kapasitet: Minneutvidelse gjennom baselaget kan koble til flere minnetyper, mens vertikal stabling øker tettheten uten å gjøre pakken bredere. 418
• Utnyttelse: Telemetri, kontrollogikk og utvalgt beregning nær minnet kan gjøre eksisterende kapasitet og båndbredde mer nyttig for bestemte arbeidsbelastninger. 1827
• Båndbredde: Direkte vertikale forbindelser reduserer avstanden mellom beregning og minne og åpner for tettere I/O. 37
• Effektivitet: Mindre dataflytting og lavere grensesnittkostnader kan redusere strømforbruket, mens bedre temperaturovervåking kan hjelpe systemet med å operere nærmere grensene sine. 1511

zHBM er dermed det tydeligste uttrykket for Samsungs idé om minne langs z-aksen: Bygg oppover for å øke tetthet og redusere kommunikasjonsavstanden, i stedet for å fortsette å utvide en side-ved-side 2,5D-pakke. 713

De store tekniske hindrene

Varmehåndtering

Når en kraftig prosessor plasseres under en DRAM-stakk, blir varmeavledningen vanskeligere. Beregningsbrikken ligger lenger fra kjøleløsningen, samtidig som DRAM må holde seg innenfor et relativt begrenset temperaturområde. Samsungs mål om lavere termisk motstand er derfor et konstruksjonsmål – ikke en automatisk fordel ved 3D-stabling. Produsenten og samarbeidspartnerne må vise at ytelse, minnepålitelighet og kjøling kan fungere sammen i en ferdig pakke. 1419

Sammenføyning, justering og produksjonsutbytte

En direkte 3D-struktur krever svært presis sammenføyning og justering over store grensesnitt. Tynnere wafere, TSV-integrasjon, kontroll på skjevhet og deformasjon, feilhåndtering og sammenføyning med høyt produksjonsutbytte blir viktigere når prosessor og minne fysisk kobles sammen. En feil i én av delene kan svekke verdien av hele pakken. Det øker behovet for testing av ferdig verifiserte brikker, reparasjonsmekanismer og tilgang til testing etter sammenføyningen. Samsungs planer om mer omfattende pålitelighets- og selvtestfunksjoner i baselaget viser hvor tett emballering og testing henger sammen med arkitekturen. 2728

Strømforsyning og signalintegritet

Et svært bredt vertikalt grensesnitt trenger stabil strømforsyning, presis timing, klokkesignaler og kontroll på støy. Høy teoretisk båndbredde gir ikke nødvendigvis høyere ytelse i praksis dersom strømforsyning, termisk struping eller signalkvalitet begrenser langvarig drift.

Stakhøyde og mekaniske begrensninger

Mer struktur i høyden kan gjøre pakken tykkere og øke mekanisk belastning, kjølekompleksitet og kravene til underlag og kretskort. Den endelige løsningen må balansere kapasitet og båndbredde mot høyde, deformasjon, produksjonsmulighet og kjøling.

Samutvikling av prosessor og minne

Standard HBM kan integreres som en relativt modulær minnekomponent. aHBM – og særlig zHBM – krever langt tettere koordinering mellom akselerator, logikk i baselaget, pakke, fastvare, kjøretidsmiljø og programvare. Grensesnitt, kontrollansvar, koherens, feilhåndtering og operasjoner nær minnet må utvikles samlet. Det kan gi bedre spesialisering, men også gjøre systemet mindre utskiftbart enn konvensjonelle HBM-løsninger.

Tidspunkt og økosystem

zHBM er fortsatt et fremtidig konsept, og rapporter antyder kommersialisering etter 2029. Tidsplanen og ytelsesmålene avhenger av modenhet i avansert pakking, kundestøtte, standarder, produksjonsutbytte og kostnad. 8914

Konklusjonen

Samsungs veikart kan best forstås som en gradvis overføring av intelligens mot minnestakken:

1. cHBM handler først og fremst om å frigjøre areal på akseleratoren og flytte grensesnitt- og kontrollarbeid.
2. aHBM gjør baselaget til et overvåket, utvidbart og delvis programmerbart minneundersystem.
3. zHBM kobler databehandling og minne fysisk sammen ved å plassere prosessoren under DRAM-stakken.

Potensialet er stort: mindre I/O-effekt, mer tilgjengelig silisium på akseleratoren, tettere båndbredde og bedre ytelse per watt. Men den siste fasen flytter også de vanskeligste problemene fra selve minnegrensesnittet til varme, sammenføyning, produksjonsutbytte, testing og samutvikling av hele systemet. Foreløpig er zHBM en ambisiøs retning støttet av mål – ikke et bevis på at en masseprodusert 3D AI-pakke allerede kan levere tallene.