Samsungova třífázová cesta od HBM4 k 3D paměti zHBM

Samsung svou strategii pamětí HBM staví jako postupný přesun funkcí směrem k samotnému paměťovému zásobníku. Nejprve chce do základního čipu HBM přesunout řadič paměti a část rozhraní, následně přidat senzory, rozšiřování paměti a vybrané výpočty. Konečným cílem je zHBM – skutečné 3D pouzdro, v němž bude AI procesor přímo pod zásobníkem DRAM. Uváděná čísla jsou však cíle budoucí architektury, nikoli ověřené produkční benchmarky. 1713

Tři fáze v kostce

Fáze	Hlavní změna architektury	Zamýšlený přínos
1. cHBM	Přesun řadiče paměti a kompaktnějšího propojení mezi čipy do logického základního čipu HBM	Uvolnění plochy akcelerátoru a omezení nákladů na přesun dat
2. aHBM	Přidání telemetrie, řadičů pro rozšíření paměti a vybraných výpočetních prvků	Lepší správa paměti, vyšší kapacita a efektivnější zpracování dat v její blízkosti
3. zHBM	Umístění zásobníku DRAM přímo nad AI akcelerátor	Kratší cesta mezi procesorem a pamětí a hustší vertikální propojení

Důležitá není jen vyšší rychlost pamětí. Mění se především úloha základního čipu. Z vrstvy, která zajišťuje hlavně řízení a propojení, se má stát stále schopnější logický subsystém – a nakonec součást vertikálně integrované struktury spojující výpočet a paměť. 182027

1. fáze: cHBM uvolní část práce AI akcelerátoru

Výchozím bodem je HBM4 s pamětí 1c DRAM a 4nm logickým základním čipem. Samsung uvádí rychlost až 13 Gb/s a propustnost až 3 300 GB/s na jeden zásobník. Jde však o parametry HBM4, nikoli o specifikaci pozdějšího konceptu zHBM. 3537

V první fázi chce Samsung nahradit tradiční, rozměrnější fyzické rozhraní HBM na AI akcelerátoru kompaktnějším propojením typu die-to-die. Do základního čipu HBM se zároveň přesune část funkcí řadiče paměti. 1720

To může přinést dvě hlavní výhody:

• Více místa na akcelerátoru: Plocha původně vyhrazená řadiči a rozhraní může sloužit výpočetním jednotkám, cache nebo logice určené pro konkrétní úlohy.
• Kratší elektrická cesta: Přesun funkcí do základního čipu může zmenšit vzdálenost a režii komunikace mezi akcelerátorem a HBM, a tím zlepšit energetickou účinnost rozhraní. 13

Některé zprávy hovoří o možném uvolnění 5 až 10 % plochy akcelerátoru a o zvýšení výkonu o 10 až 20 %. Jde ale o hodnoty převzaté z popisovaných materiálů k roadmapě, nikoli o univerzální výsledek platný pro každý AI procesor. 1729

2. fáze: aHBM udělá ze základního čipu aktivní subsystém

Ve druhé fázi se využije další volná plocha základního čipu. Koncept aHBM počítá se senzory a průběžnou telemetrií, například pro teplotu a napětí, a také s funkcemi pro spolehlivost a vlastní testování. Systém by tak mohl přesněji reagovat na provozní podmínky a lépe sledovat stav paměťového zásobníku. 182728

Základní čip by mohl fungovat také jako rozhraní pro rozšíření paměti. Připojit by bylo možné další HBM nebo jiné typy paměti, například LPDDR. Návrháři systémů by tak získali další způsob, jak zvýšit využitelnou kapacitu, aniž by se museli spoléhat pouze na lokální zásobník HBM. 182829

Samsung navrhuje do základního čipu umístit rovněž výpočetní prvky. Ty nemají nahradit univerzální GPU ani hlavní AI akcelerátor. Jejich úkolem by bylo zpracovávat vybrané, na přístup k paměti náročné operace přímo u dat. Tím by se mohla omezit část provozu přes pouzdro a zlepšit využití paměťové propustnosti. 61927

Jde o přechodovou fázi: HBM stále zůstává vedle procesoru v takzvaném 2,5D pouzdře, ale základní čip se začíná chovat spíše jako inteligentní vstupně-výstupní a výpočetní subsystém.

3. fáze: zHBM postaví paměť přímo nad výpočet

zHBM je nejradikálnější část plánu. V běžném pouzdře s HBM jsou akcelerátor a paměťové zásobníky umístěny vedle sebe na propojovací vrstvě, takzvaném interposeru. Koncept zHBM místo toho staví zásobník DRAM přímo nad AI procesor, čímž vzniká skutečná 3D struktura spojující výpočet a paměť. 3732

Vertikální uspořádání má zkrátit cestu, kterou data urazí, a nahradit velké rozhraní vedené po okraji čipu hustší sítí vertikálních spojů. Teoreticky by to mohlo znamenat:

• vyšší propustnost díky výrazně širšímu propojení,
• nižší spotřebu vstupů a výstupů, protože signály překonávají kratší vzdálenost,
• efektivnější dodávání dat při trénování a inferenci AI,
• menší půdorys pouzdra, protože HBM už nemusí být rozmístěna kolem procesoru. 13732

zHBM proto není jen „rychlejší HBM“. Mění fyzický vztah mezi pamětí a výpočetní částí. Výsledný přínos nebude záviset pouze na rychlosti DRAM, ale také na topologii pouzdra, návrhu rozhraní, napájení, chlazení a konkrétní citlivosti zátěže na přesun dat.

Jak do toho zapadají cíle HBM5

Samsung a zdroje kolem jeho roadmapy používají různé výchozí body i metriky. Čísla proto nelze číst jako jediný vzájemně porovnatelný benchmark:

• HBM5 oproti HBM4E: Samsung cílí na dvojnásobný výkon, o 20 % vyšší výkon na watt a o 20 % nižší tepelný odpor. Zprávy hovoří o sériové výrobě přibližně v roce 2028, HBM5 je ale stále plánovaná generace, nikoli široce zavedený produkční standard. 4101214
• zHBM oproti HBM4E: V porovnání zaměřeném na prezentaci z Hot Chips se uvádí přibližně o 70 % nižší spotřeba DRAM a více než 2,3násobná propustnost DRAM. 111
• Dlouhodobé cíle zHBM: Samsung rovněž prezentoval cíle až osminásobného výkonu, trojnásobného výkonu na watt a snížení tepelného odporu o 75 až 90 % oproti HBM4E. 21314

Rozdíl mezi „2,3násobnou propustností“ a „osminásobným výkonem“ proto nemusí být rozporem. Propustnost, spotřeba DRAM, výkon celé aplikace a výkon na watt jsou odlišné metriky a mohou vycházet z různých konfigurací. V dodaných materiálech není dost metodických podrobností k nezávislému sjednocení všech čísel. Je rozumnější chápat je jako cíle architektury, ne jako jediný výsledek měření. 11014

Proč zHBM zapadá do strategie CUBE

Samsung označuje svou širší strategii jako CUBE. Zkratka odkazuje na čtyři oblasti: Capacity (kapacita), Utilization (využití), Bandwidth (propustnost) a Efficiency (účinnost). Firma tím argumentuje, že AI systémy nepotřebují jen stále rychlejší paměťová rozhraní. Paměť je také nutné umístit a využívat chytřeji – včetně třetího rozměru. 257

Tři fáze HBM odpovídají těmto cílům následovně:

• Kapacita: Rozšíření paměti přes základní čip může připojit další paměťové vrstvy, zatímco vertikální vrstvení zvyšuje hustotu bez rozšiřování pouzdra do stran. 418
• Využití: Telemetrie, řídicí logika a vybrané výpočty v blízkosti paměti mohou zlepšit využití existující kapacity a propustnosti pro konkrétní úlohy. 1827
• Propustnost: Přímé vertikální propojení zkracuje fyzickou vzdálenost mezi výpočtem a pamětí a vytváří prostor pro hustší vstupy a výstupy. 37
• Účinnost: Omezení přesunu dat a režie rozhraní může snížit spotřebu. Přesnější sledování teploty by zároveň mohlo pomoci provozovat systém blíže jeho limitům. 1511

zHBM je tak nejvýraznějším příkladem Samsungova přístupu k paměti v ose Z: místo dalšího rozšiřování 2,5D pouzdra do stran stavět více do výšky, zvýšit hustotu a zkrátit komunikační vzdálenost. 713

Co musí Samsung ještě vyřešit

Chlazení

Umístit výkonný procesor pod zásobník DRAM znamená zkomplikovat odvod tepla. Výpočetní čip je dále od chladicí cesty a samotná DRAM musí zůstat v poměrně omezeném teplotním rozsahu. Deklarované snížení tepelného odporu je proto konstrukční cíl, nikoli automatická výhoda 3D vrstvení. Samsung a jeho výrobní partneři budou muset prokázat, že výkon, spolehlivost paměti a požadavky na chlazení mohou společně fungovat v sériově vyráběném pouzdře. 1419

Spojování, přesnost a výtěžnost

Přímá 3D struktura vyžaduje mimořádně přesné spojení a zarovnání velkých ploch. S rostoucím významem získají ztenčování waferů, integrace TSV, kontrola deformací, řízení vad a spojování s vysokou výtěžností. Vadný procesor nebo paměť může snížit hodnotu celého pouzdra, takže poroste význam testování funkčních čipů před spojením, opravných mechanismů a testovacího přístupu po spojení. Plánované funkce spolehlivosti a vlastního testování v základním čipu ukazují, jak úzce jsou architektura, pouzdření a testování propojené. 2728

Napájení a integrita signálu

Ani velmi široké vertikální rozhraní se neobejde bez stabilního napájení, přesného časování, řízení hodin a kontroly šumu. Vyšší teoretická propustnost automaticky nezaručí lepší výkon aplikace, pokud dlouhodobý provoz omezí napájecí síť, teplotní throttling nebo kvalita signálu.

Výška zásobníku a mechanická omezení

Další vertikální vrstvy mohou zvýšit tloušťku pouzdra, mechanické namáhání i složitost chladicí cesty. Konečný návrh bude muset vyvážit kapacitu a propustnost s výškou zásobníku, deformacemi, vyrobitelností a limity substrátu i základní desky.

Společný návrh procesoru a paměti

Standardní HBM lze integrovat relativně modulárně. aHBM a zejména zHBM však vyžadují užší spolupráci mezi akcelerátorem, logikou základního čipu, pouzdrem, firmwarem, běhovým prostředím a softwarem. Společně se musí navrhnout rozhraní, rozdělení řízení a koherence, práce s chybami i operace prováděné v blízkosti paměti. Specializace může přinést vyšší efektivitu, zároveň ale může snížit zaměnitelnost systému ve srovnání s klasickými řešeními HBM.

Termíny a přijetí na trhu

zHBM zůstává budoucím konceptem a dostupné zprávy kladou jeho komercializaci až za rok 2029. Termín i výkonnostní cíle budou záviset na vyspělosti pouzdření, zájmu zákazníků, standardech, výtěžnosti a nákladech. 8914

Praktický závěr

Samsungovu roadmapu lze nejlépe chápat jako postupné přesouvání inteligence k paměti:

1. cHBM má především uvolnit plochu akcelerátoru a přesunout část řízení a rozhraní mimo něj.
2. aHBM mění základní čip na monitorovaný, rozšiřitelný a částečně programovatelný paměťový subsystém.
3. zHBM fyzicky spojuje výpočet a paměť tím, že procesor umisťuje přímo pod zásobník DRAM.

Potenciální odměna je značná: méně energie spotřebované na vstupu a výstupu, více využitelného prostoru v akcelerátoru, hustší propustnost a lepší výkon na watt. Finální fáze však zároveň přesouvá nejtěžší problémy od návrhu paměťového rozhraní k tepelnému inženýrství, spojování čipů, výtěžnosti, testování a společnému návrhu celého systému. zHBM je zatím ambiciózní směr podložený cílovými hodnotami, nikoli důkaz, že sériově vyráběné 3D AI pouzdro tyto hodnoty skutečně nabídne.