Samsungin HBM-strategia etenee kolmessa vaiheessa. Ensin muistiohjain ja osa liitäntälogiikasta siirretään HBM-muistin peruspiirille. Seuraavaksi peruspiiriin lisätään valvonta-, laajennus- ja laskentatoimintoja. Lopullisena tavoitteena on zHBM, jossa tekoälyprosessori sijoitetaan suoraan DRAM-muistipinon alle todelliseksi 3D-rakenteeksi.\n\nOn kuitenkin tärkeää erottaa toisistaan Samsungin esittämät tulevaisuuden tavoitteet ja jo tuotannossa todistetut suorituskykyluvut. zHBM ei ole vielä valmis tuotestandardi tai tuotannossa osoitettu vertailutulos. 
1
7
13\n\n## Kolmen vaiheen suunnitelma\n\n| Vaihe | Rakenteellinen muutos | Tavoiteltu hyöty |\n|---|---|---|\n| 1. cHBM | Muistiohjain ja kompaktimpi sirujen välinen liitäntä siirretään HBM:n logiikkaperuspiirille | Lisää tilaa tekoälykiihdyttimeen ja pienentää liitäntään liittyvää datansiirtokustannusta |\n| 2. aHBM | Peruspiiriin lisätään telemetriaa, muistin laajennusohjaimia ja valikoituja laskentaelementtejä | Parempi muistinhallinta, suurempi kapasiteetti ja datan käsittely lähempänä muistia |\n| 3. zHBM | DRAM- eli HBM-rakenne pinotaan suoraan tekoälykiihdyttimen päälle | Lyhyempi prosessorin ja muistin välinen yhteys sekä tiheämpi pystysuuntainen tiedonsiirto |\n\nKehityksen ydin on peruspiirin roolin muuttuminen. Se ei olisi enää vain yhteys- ja ohjauskerros, vaan asteittain itsenäisempi logiikkajärjestelmä – ja lopulta osa pystysuoraan yhdistettyä laskenta- ja muistirakennetta. 
18
20
27\n\n## Vaihe 1: cHBM vapauttaa tilaa tekoälykiihdyttimestä\n\nSamsungin HBM4-lähtökohta yhdistää 1c-DRAM-muistin ja 4 nanometrin logiikkaperuspiirin. Samsung ilmoittaa HBM4:lle jopa 13 gigabitin sekuntinopeuden ja enintään 3 300 gigatavua sekunnissa kaistanleveyttä pinoa kohden. Nämä ovat HBM4-tuotetta koskevia ilmoituksia, eivät myöhemmän zHBM-konseptin tuotantosuorituskykyä. 
35
37\n\nEnsimmäisessä vaiheessa peruspiirin logiikkaa hyödynnetään pidemmälle. Tavanomainen, kooltaan suurempi HBM PHY -fyysinen liitäntä korvataan kompaktimmalla die-to-die-liitännällä, ja muistiohjain siirretään tekoälykiihdyttimestä HBM:n peruspiirille. 
1720\n\nTällä tavoitellaan kahta etua:\n\n- Enemmän käyttökelpoista kiihdytinpinta-alaa: muistinohjaukseen ja liitäntöihin aiemmin käytettyä piitä voidaan käyttää laskentaan, välimuistiin tai sovelluskohtaiseen logiikkaan.\n- Lyhyempi sähköinen reitti: kun toimintoja siirretään peruspiirille, kiihdyttimen ja HBM:n välinen viestintä voi kulkea lyhyemmän matkan ja kuluttaa vähemmän energiaa. 1
3\n\nJoissakin raporteissa arvioidaan, että kiihdyttimestä voisi vapautua noin 5–10 prosenttia pinta-alasta ja suorituskyky voisi parantua 10–20 prosenttia. Luvut perustuvat raportoituun suunnitelmamateriaaliin, eikä niitä pidä tulkita kaikkia tekoälyprosessoreita koskevaksi yleiseksi tulokseksi. 17
29\n\n## Vaihe 2: aHBM tekee peruspiiristä aktiivisen alijärjestelmän\n\nToisessa vaiheessa peruspiirin vapautuvaa tilaa käytetään uusiin toimintoihin. Samsungin aHBM-konseptiin kuuluu antureita ja reaaliaikaista telemetriaa esimerkiksi lämpötilan ja jännitteen seuraamiseen. Lisäksi mukana on luotettavuus- ja itsetestaustoimintoja. Näin järjestelmä voisi reagoida tarkemmin käyttöolosuhteisiin ja valvoa muistipinon tilaa. 1827
28\n\nPeruspiiri voisi toimia myös muistin laajennusliitäntänä. Sen kautta järjestelmään voitaisiin kytkeä lisää HBM-muistia tai muuta muistia, kuten LPDDR-muistia. Tämä antaisi suunnittelijoille vaihtoehtoisen tavan kasvattaa käytettävissä olevaa muistimäärää ilman, että kaikki kapasiteetti täytyy sijoittaa samaan HBM-pinoon. 182829\n\nSamsung on lisäksi esittänyt laskentaelementtien sijoittamista peruspiirille. Ne eivät korvaisi yleiskäyttöistä grafiikkasuoritinta tai tekoälykiihdytintä. Niiden tehtävä olisi käsitellä tiettyjä muistia runsaasti käyttäviä operaatioita lähellä dataa, jolloin osa paketissa liikkuvasta datasta voitaisiin jättää siirtämättä. 
6
1927\n\nTässä siirtymävaiheessa HBM sijaitsee edelleen prosessorin rinnalla 2,5D-paketissa. Peruspiiri alkaa kuitenkin muistuttaa älykästä I/O- ja laskenta-alijärjestelmää.\n\n## Vaihe 3: zHBM pinoaa muistin suoraan laskennan päälle\n\nzHBM on suunnitelman kunnianhimoisin osa. Nykyisessä HBM-paketissa tekoälykiihdytin ja HBM-pinot ovat rinnakkain välipiirin päällä. Samsungin zHBM-konseptissa prosessori sijoitetaan suoraan DRAM-pinon alle, jolloin muodostuu todellinen 3D-rakenne. 37
32\n\nPystysuoran rakenteen tarkoitus on lyhentää datan kulkumatkaa ja korvata suuri, reunoille keskittyvä liitäntä tiheämmillä pystysuuntaisilla yhteyksillä. Periaatteessa tämä voisi tarkoittaa:\n\n- suurempaa kaistanleveyttä huomattavasti leveämmän yhteyden ansiosta,\n- pienempää I/O-energiankulutusta lyhyemmän signaalireitin vuoksi,\n- tehokkaampaa datan toimitusta tekoälyn koulutuksessa ja päättelyssä sekä\n- pienempää sivusuuntaista pakettikokoa, koska HBM:n ei tarvitse sijaita prosessorin ympärillä. 13732\n\nzHBM ei siis olisi vain tavallista nopeampi HBM-versio. Se muuttaisi muistin ja laskennan fyysistä suhdetta. Lopputulos riippuisi DRAM-nopeuden lisäksi paketin topologiasta, liitäntäratkaisusta, virransyötöstä, jäähdytyksestä ja siitä, kuinka herkkä käytettävä työkuorma on datan siirtämiselle.\n\n## Miten tavoitteet vertautuvat HBM5:een?\n\nSamsungin julkaisemissa ja raportoimissa luvuissa käytetään eri vertailukohtia ja mittareita. Niitä ei siksi pidä lukea yhtenä suorana vertailutestinä:\n\n- HBM5 verrattuna HBM4E:hen: Samsung tavoittelee kaksinkertaista suorituskykyä, 20 prosenttia parempaa suorituskykyä wattia kohden ja 20 prosenttia pienempää lämpövastusta. Raporttien mukaan massatuotantoa kaavaillaan noin vuodelle 2028, mutta HBM5 on edelleen tiekartan sukupolvi eikä laajasti vakiintunut tuotestandardi. 
4
10
12
14\n- zHBM verrattuna HBM4E:hen: Hot Chips -esitykseen pohjautuvassa vertailussa zHBM:n tavoitteiksi kerrottiin noin 70 prosenttia pienempi DRAM-energiankulutus ja yli 2,3-kertainen DRAM-kaistanleveys. 1
11\n- Pidemmän aikavälin zHBM-tavoitteet: Samsung on esittänyt myös tavoitteet jopa kahdeksankertaisesta suorituskyvystä, kolminkertaisesta suorituskyvystä wattia kohden ja 75–90 prosenttia pienemmästä lämpövastuksesta HBM4E:hen verrattuna. 
21314\n\nEro 2,3-kertaisen kaistanleveyden ja kahdeksankertaisen suorituskyvyn välillä ei ole automaattisesti ristiriita. Kaistanleveys, DRAM-energiankulutus, sovelluksen suorituskyky ja suorituskyky wattia kohden mittaavat eri asioita, ja niiden taustalla voi olla erilaiset kokoonpanot. Saatavilla olevien lähteiden perusteella Samsung ei ole julkaissut riittävästi menetelmätietoja kaikkien lukujen riippumattomaan yhteensovittamiseen. Siksi niitä on syytä pitää arkkitehtuuritavoitteina, ei yhtenä vertailutuloksena. 11014\n\n## Miten suunnitelma liittyy Samsungin CUBE-strategiaan?\n\nSamsung kuvaa CUBEa neljän tavoitteen kokonaisuutena: Capacity, Utilization, Bandwidth ja Efficiency eli kapasiteetti, hyödyntäminen, kaistanleveys ja tehokkuus. Yhtiön mukaan tekoälyjärjestelmät tarvitsevat muutakin kuin yhä nopeampia muistiliitäntöjä: muisti on sijoitettava ja sitä on hyödynnettävä älykkäämmin kolmessa ulottuvuudessa. 257\n\nKolme HBM-vaihetta tukevat näitä tavoitteita:\n\n- Kapasiteetti: peruspiirin kautta voidaan liittää lisää muistitasoja, ja pystysuuntainen pinoaminen kasvattaa tiheyttä ilman paketin sivusuuntaista laajentamista. 418\n- Hyödyntäminen: telemetria, ohjauslogiikka ja valikoitu lähimuistilaskenta voivat tehdä olemassa olevasta muistista ja kaistanleveydestä hyödyllisempää tietyissä työkuormissa. 1827\n- Kaistanleveys: suora pystysuuntainen liitäntä lyhentää laskennan ja muistin välistä fyysistä etäisyyttä ja mahdollistaa tiheämmän I/O:n. 37\n- Tehokkuus: datan siirtämisen ja liitäntälogiikan vähentäminen voi pienentää energiankulutusta, kun taas parempi lämpötilan seuranta voi auttaa käyttämään järjestelmää lähempänä sen rajoja. 1511\n\nzHBM on siten selkein esimerkki Samsungin Z-akselin muistiajattelusta: rakennetaan ylöspäin, jotta tiheys kasvaa ja viestintämatka lyhenee, sen sijaan että 2,5D-pakettia kasvatettaisiin edelleen sivusuunnassa. 713\n\n## Edessä on vielä monta teknistä estettä\n\n### Lämmönhallinta\n\nKun suuritehoinen prosessori sijoitetaan DRAM-pinon alle, lämmön poistaminen vaikeutuu. Laskentapiiri on kauempana jäähdytysreitistä, samalla kun DRAM-muistin on pysyttävä suhteellisen rajatussa lämpötila-alueessa. Samsungin ilmoittama lämpövastuksen pienentäminen onkin suunnittelutavoite, ei automaattinen seuraus 3D-pinoamisesta. Tuotantopaketissa on osoitettava, että suorituskyky, muistin luotettavuus ja jäähdytys voidaan sovittaa yhteen. 1419\n\n### Liittäminen, kohdistus ja tuotantosaanto\n\nSuora 3D-rakenne vaatii erittäin tarkkaa liittämistä ja kohdistusta suurilla rajapinnoilla. Waferien ohentaminen, TSV-rakenteet, käyristymisen hallinta, vikojen hallinta ja korkean saannon liittäminen korostuvat, kun prosessori ja muisti yhdistetään fyysisesti. Yhdenkin osapuolen vika voi heikentää koko paketin arvoa, mikä lisää toimivien sirujen testauksen, korjausmekanismien ja liitoksen jälkeisen testauksen merkitystä. Samsungin suunnitelmaan kuuluvat laajemmat luotettavuus- ja itsetestaustoiminnot kertovat, kuinka tiiviisti pakkaus ja testaus liittyvät arkkitehtuuriin. 2728\n\n### Virransyöttö ja signaalin eheys\n\nErittäin leveä pystysuuntainen liitäntä tarvitsee vakaan virransyötön, tarkan ajoituksen, kellotuksen ja häiriöiden hallinnan. Teoreettisesti suurempi kaistanleveys ei takaa parempaa sovellussuorituskykyä, jos virransyöttö, lämpötilan aiheuttama suorituskyvyn rajoittaminen tai signaalin laatu estää jatkuvan käytön.\n\n### Pinon korkeus ja mekaaniset rajoitteet\n\nPystyrakenteen kasvattaminen voi lisätä paketin paksuutta, mekaanista rasitusta ja jäähdytysreitin monimutkaisuutta. Lopullisen ratkaisun on tasapainotettava kapasiteetti ja kaistanleveys pinon korkeuden, käyristymisen, valmistettavuuden sekä alustan ja emolevyn rajoitusten kanssa.\n\n### Prosessorin ja muistin yhteissuunnittelu\n\nTavallinen HBM voidaan integroida suhteellisen modulaarisena muistiosana. aHBM ja erityisesti zHBM edellyttävät tiiviimpää yhteistyötä kiihdyttimen, peruspiirin, paketin, laiteohjelmiston, ajonaikaisen ohjelmiston ja muun ohjelmistopinon välillä. Liitännät, ohjauksen jako, koherenssi, vikasietoisuus ja lähimuistitoiminnot on suunniteltava yhdessä. Tämä voi parantaa erikoistumista, mutta samalla järjestelmästä voi tulla vähemmän yhteensopiva ja vaihdettava kuin perinteisestä HBM-ratkaisusta.\n\n### Aikataulu ja ekosysteemin hyväksyntä\n\nzHBM on edelleen tulevaisuuden konsepti, ja raporttien mukaan kaupallistamista odotetaan vuoden 2029 jälkeen. Aikataulu ja suorituskykytavoitteet riippuvat pakkaustekniikan kypsyydestä, asiakkaiden käyttöönotosta, standardeista, tuotantosaannosta ja kustannuksista. 
8914\n\n## Johtopäätös\n\nSamsungin suunnitelma kannattaa nähdä asteittaisena älyn siirtämisenä kohti muistipinoa:\n\n1. cHBM vapauttaa kiihdyttimen pinta-alaa ja siirtää liitäntä- sekä ohjaustehtäviä HBM:n peruspiirille.\n2. aHBM tekee peruspiiristä valvotun, laajennettavan ja rajatusti ohjelmoitavan muistialijärjestelmän.\n3. zHBM yhdistää laskennan ja muistin fyysisesti pinoamalla prosessorin DRAM-muistin alle.\n\nMahdollinen hyöty on huomattava: vähemmän I/O-energiaa, enemmän käyttökelpoista kiihdytinpinta-alaa, tiheämpi kaistanleveys ja parempi suorituskyky wattia kohden. Samalla zHBM siirtää vaikeimmat ongelmat muistiliitännöistä koko järjestelmän lämpötekniikkaan, liittämiseen, tuotantosaantoon, testaukseen ja yhteissuunnitteluun. Toistaiseksi zHBM on kunnianhimoinen suunta ja tavoitteiden kokonaisuus – ei vielä näyttö siitä, että tuotantoon valmis 3D-tekoälypaketti pystyy saavuttamaan kaikki luvatut luvut.
