Samsung pokazuje trzyetapową drogę do pamięci zHBM: od układu bazowego 4 nm do prawdziwego 3D

Strategia Samsunga dotycząca pamięci HBM rozwija się w trzech krokach. Najpierw firma chce przenieść kontroler pamięci i część funkcji interfejsu do logicznego układu bazowego HBM. Następnie planuje dodać monitoring, obsługę rozszerzeń pamięci oraz wybrane obliczenia wykonywane bliżej danych. Finałem ma być zHBM — konstrukcja, w której procesor AI znajdzie się bezpośrednio pod stosem DRAM, tworząc prawdziwie trójwymiarowy pakiet. Trzeba jednak podkreślić, że najefektowniejsze liczby Samsunga to cele dla przyszłej architektury, a nie potwierdzone wyniki produkcyjnych benchmarków. 1713

Trzy fazy w skrócie

Faza	Najważniejsza zmiana architektoniczna	Zakładana korzyść
Faza 1: custom HBM (cHBM)	Przeniesienie kontrolera pamięci i bardziej kompaktowego interfejsu die-to-die do logicznego układu bazowego HBM	Odzyskanie powierzchni krzemowej akceleratora i ograniczenie kosztu przesyłania danych
Faza 2: advanced HBM (aHBM)	Dodanie telemetrii, kontrolerów rozszerzania pamięci i wybranych elementów obliczeniowych w układzie bazowym	Lepsze zarządzanie pamięcią, większa pojemność i efektywniejsze przetwarzanie bliżej danych
Faza 3: zHBM	Umieszczenie stosu DRAM/HBM bezpośrednio nad akceleratorem AI	Skrócenie drogi między procesorem a pamięcią i zwiększenie gęstości połączeń pionowych

Znaczenie tej ewolucji wykracza poza sam wzrost szybkości pamięci. Układ bazowy przestaje być przede wszystkim warstwą połączeń i sterowania, a staje się coraz bardziej rozbudowanym podsystemem logicznym. W końcu ma stać się częścią pionowo zintegrowanej struktury łączącej obliczenia i pamięć. 182027

Faza 1: cHBM uwalnia miejsce w akceleratorze

Punktem wyjścia jest HBM4 Samsunga, łączące pamięć DRAM 1c z logicznym układem bazowym wykonanym w technologii 4 nm. Samsung podaje dla HBM4 prędkość do 13 Gb/s oraz przepustowość sięgającą 3300 GB/s na stos. Są to jednak dane dotyczące produktu HBM4, a nie specyfikacja późniejszej koncepcji zHBM. 3537

W pierwszej fazie Samsung chce zastąpić tradycyjny, większy interfejs HBM PHY w akceleratorze AI bardziej kompaktowym interfejsem die-to-die. Jednocześnie funkcje kontrolera pamięci mają zostać przeniesione z akceleratora do logicznego układu bazowego HBM. 1720

Może to przynieść dwie główne korzyści:

• Większa powierzchnia akceleratora: miejsce zajmowane dotąd przez kontrolę pamięci i funkcje interfejsu można przeznaczyć na jednostki obliczeniowe, pamięć podręczną lub logikę dopasowaną do konkretnego zastosowania.
• Krótsza ścieżka elektryczna: przeniesienie części funkcji do układu bazowego może skrócić komunikację między akceleratorem a HBM i ograniczyć narzut energetyczny interfejsu. 13

Niektóre doniesienia mówią o możliwym odzyskaniu 5–10 proc. powierzchni akceleratora oraz wzroście wydajności o 10–20 proc. Są to jednak wartości pochodzące z prezentowanych materiałów dotyczących mapy drogowej i nie należy traktować ich jako uniwersalnego rezultatu dla każdego procesora AI. 1729

Faza 2: aHBM zmienia układ bazowy w aktywny podsystem

W drugim etapie dodatkowe funkcje mają trafić na powierzchnię zwolnioną w logicznym układzie bazowym. Koncepcja aHBM obejmuje czujniki i telemetrię działającą w czasie rzeczywistym, między innymi do monitorowania temperatury i napięcia. Przewidziano także funkcje zwiększające niezawodność oraz układy autotestu. Takie dane mogłyby pozwolić systemowi dokładniej reagować na warunki pracy i skuteczniej nadzorować stos pamięci. 182728

Układ bazowy mógłby również pełnić funkcję interfejsu rozszerzania pamięci, łącząc dodatkowe moduły HBM albo pamięci innego typu, na przykład LPDDR. Projektanci systemów zyskaliby w ten sposób dodatkową drogę zwiększania użytecznej pojemności bez polegania wyłącznie na lokalnym stosie HBM. 182829

Samsung rozważa także umieszczenie w układzie bazowym elementów obliczeniowych. Nie miałyby one zastąpić uniwersalnego GPU ani głównego akceleratora. Ich zadaniem byłoby wykonywanie wybranych, intensywnie korzystających z pamięci operacji bliżej danych. Ograniczenie części ruchu danych przez pakiet mogłoby poprawić wykorzystanie pamięci i przepustowości. 61927

To etap przejściowy. HBM nadal znajduje się obok procesora w pakiecie 2.5D, ale jego układ bazowy zaczyna przypominać inteligentny podsystem wejścia-wyjścia i przetwarzania.

Faza 3: zHBM umieszcza pamięć bezpośrednio nad obliczeniami

zHBM to najbardziej radykalny element planu. W typowym pakiecie HBM akcelerator i stosy pamięci są ułożone obok siebie na interposerze. W koncepcji Samsunga procesor ma znaleźć się bezpośrednio pod stosem DRAM, tworząc prawdziwą strukturę 3D. 3732

Pionowy układ ma skrócić drogę, którą pokonują dane, oraz zastąpić duży interfejs zlokalizowany na krawędzi gęstszymi, rozproszonymi połączeniami pionowymi. W teorii może to oznaczać:

• większą przepustowość dzięki znacznie szerszemu połączeniu,
• niższe zużycie energii przez I/O, ponieważ sygnały pokonują krótszy dystans,
• sprawniejsze dostarczanie danych podczas trenowania i uruchamiania modeli AI,
• mniejszą powierzchnię zajmowaną w poziomie, ponieważ stosy HBM nie muszą już otaczać procesora. 13732

Dlatego zHBM nie jest po prostu „szybszą wersją HBM”. Zmienia fizyczną relację między pamięcią a obliczeniami. Ostateczna korzyść będzie zależeć nie tylko od szybkości DRAM, lecz także od topologii pakietu, konstrukcji interfejsu, dostarczania energii, chłodzenia i charakterystyki konkretnego obciążenia.

Jak cele zHBM wypadają na tle HBM5?

Samsung posługuje się różnymi punktami odniesienia i metrykami. Poszczególne liczby należy więc czytać jako osobne deklaracje, a nie jeden bezpośrednio porównywalny benchmark:

• HBM5 względem HBM4E: celem jest dwukrotnie wyższa wydajność, o 20 proc. wyższa wydajność na wat oraz o 20 proc. niższy opór cieplny. Doniesienia wskazują na masową produkcję w okolicach 2028 roku, ale HBM5 pozostaje generacją z mapy drogowej, a nie powszechnie ugruntowanym standardem produkcyjnym. 4101214
• zHBM względem HBM4E: w porównaniu prezentowanym w kontekście konferencji Hot Chips wskazano około 70 proc. niższe zużycie energii przez DRAM oraz ponad 2,3-krotnie większą przepustowość DRAM. 111
• Długoterminowe cele zHBM: Samsung przedstawiał także założenia obejmujące do ośmiokrotnie wyższą wydajność, trzykrotnie wyższą wydajność na wat oraz redukcję oporu cieplnego o 75–90 proc. względem HBM4E. 21314

Różnica między „2,3-krotnie większą przepustowością” a „ośmiokrotnie wyższą wydajnością” nie musi oznaczać sprzeczności. Przepustowość, zużycie energii przez DRAM, wydajność aplikacji i wydajność na wat opisują różne aspekty systemu i mogą być mierzone przy innych konfiguracjach. W dostarczonych materiałach brakuje wystarczającej metodologii, by niezależnie pogodzić wszystkie te wartości. Należy więc traktować je jako cele architektoniczne, a nie jeden wynik testu. 11014

Dlaczego zHBM pasuje do strategii CUBE?

Samsung opisuje CUBE jako strategię opartą na czterech obszarach: Capacity — pojemność, Utilization — wykorzystanie, Bandwidth — przepustowość oraz Efficiency — efektywność. Zdaniem firmy systemy AI potrzebują nie tylko coraz szybszych interfejsów pamięci, lecz także inteligentniejszego rozmieszczenia i wykorzystania pamięci w trzech wymiarach. 257

Trzy fazy rozwoju HBM wpisują się w te założenia:

• Pojemność: rozszerzanie pamięci przez układ bazowy może umożliwić podłączenie dodatkowych warstw pamięci, a pionowe stosowanie układów zwiększa gęstość bez powiększania pakietu w poziomie. 418
• Wykorzystanie: telemetria, logika sterująca i wybrane obliczenia blisko pamięci mogą sprawić, że istniejąca pojemność i przepustowość będą lepiej dopasowane do konkretnych obciążeń. 1827
• Przepustowość: bezpośrednie połączenia pionowe skracają dystans między obliczeniami a pamięcią i otwierają drogę do gęstszej komunikacji. 37
• Efektywność: ograniczenie przesyłania danych i narzutu interfejsu może zmniejszyć pobór energii, a dokładniejszy monitoring temperatury może ułatwić pracę bliżej granic możliwości systemu. 1511

zHBM jest zatem najbardziej wyrazistym przykładem podejścia Samsunga do pamięci na osi Z: zamiast dalej rozbudowywać boczny pakiet 2.5D, firma chce zwiększać gęstość i ograniczać odległość komunikacji przez budowanie „w górę”. 713

Największe problemy, które trzeba jeszcze rozwiązać

Chłodzenie

Umieszczenie energochłonnego procesora pod stosem DRAM utrudnia odprowadzanie ciepła. Układ obliczeniowy znajduje się dalej od ścieżki chłodzenia, a pamięć musi działać w stosunkowo ograniczonym zakresie temperatur. Deklarowana przez Samsunga redukcja oporu cieplnego jest więc celem projektowym, a nie automatyczną zaletą każdego rozwiązania 3D. Firma i jej partnerzy produkcyjni będą musieli wykazać, że wydajność, niezawodność pamięci i wymagania chłodzenia da się pogodzić w pakiecie przeznaczonym do produkcji. 1419

Łączenie układów, wyrównanie i uzysk produkcyjny

Bezpośrednia struktura 3D wymaga bardzo precyzyjnego łączenia i wyrównania dużych powierzchni. Cienienie wafli, integracja TSV, kontrola odkształceń, zarządzanie defektami i uzyskanie wysokiego odsetka poprawnie połączonych układów stają się jeszcze ważniejsze. Defekt po jednej stronie pakietu może obniżyć wartość całego złożenia, dlatego większego znaczenia nabierają testowanie sprawnych układów przed połączeniem, mechanizmy naprawcze oraz dostęp do testów po zakończeniu bondingu. Mapa drogowa Samsunga przewiduje rozbudowane funkcje niezawodności i autotestu w układzie bazowym, co pokazuje, jak silnie projekt pakietu i testowanie są związane z architekturą. 2728

Zasilanie i integralność sygnału

Nawet bardzo szeroki interfejs pionowy wymaga stabilnego zasilania, odpowiedniego taktowania, kontroli zegara i ograniczania zakłóceń. Wyższa teoretyczna przepustowość nie gwarantuje wyższej wydajności aplikacji, jeśli integralność zasilania, przegrzewanie lub jakość sygnału ograniczą długotrwałą pracę.

Wysokość stosu i ograniczenia mechaniczne

Dodawanie kolejnych struktur w pionie może zwiększać grubość pakietu, naprężenia mechaniczne i złożoność ścieżki chłodzenia. Końcowy projekt będzie musiał pogodzić pojemność i przepustowość z wysokością stosu, odkształceniami, możliwościami produkcyjnymi oraz ograniczeniami podłoża i płyty systemowej.

Wspólne projektowanie procesora i pamięci

Standardowy HBM można integrować jako stosunkowo modułowy komponent pamięci. aHBM, a szczególnie zHBM, wymagają znacznie ściślejszej współpracy między akceleratorem, logiką układu bazowego, pakietem, oprogramowaniem układowym, środowiskiem uruchomieniowym i stosem programistycznym. Wspólnie trzeba zaprojektować między innymi interfejsy, podział kontroli i spójności danych, obsługę błędów oraz operacje wykonywane blisko pamięci. Może to poprawić specjalizację systemu, ale jednocześnie ograniczyć wymienność znaną z tradycyjnych konstrukcji HBM.

Terminy i przyjęcie przez rynek

zHBM pozostaje koncepcją przyszłej architektury, a doniesienia mówią o komercjalizacji po 2029 roku. Harmonogram i deklarowane parametry będą zależeć od dojrzałości zaawansowanego pakowania, zainteresowania klientów, standardów, uzysku produkcyjnego i kosztów. 8914

Wniosek praktyczny

Mapę drogową Samsunga najlepiej rozumieć jako stopniowe przenoszenie „inteligencji” w stronę stosu pamięci:

1. cHBM koncentruje się przede wszystkim na odzyskaniu powierzchni akceleratora i odciążeniu go z części zadań interfejsowych oraz kontrolnych.
2. aHBM zamienia układ bazowy w monitorowany, rozszerzalny i częściowo programowalny podsystem pamięci.
3. zHBM fizycznie łączy obliczenia z pamięcią, umieszczając procesor pod stosem DRAM.

Potencjalne korzyści są duże: niższe zużycie energii przez I/O, większa powierzchnia na logikę akceleratora, gęstsza przepustowość i lepsza wydajność na wat. Ostatnia faza przenosi jednak najtrudniejsze problemy z projektowania interfejsu pamięci na inżynierię cieplną, bonding, uzysk, testowanie i współprojektowanie całego systemu. Na dziś zHBM jest ambitnym kierunkiem popartym celami — nie dowodem, że produkcyjny pakiet 3D dla AI już potrafi je osiągnąć.