Samsung vil med zHBM gøre afstanden mellem AI-processor og den hurtigste hukommelse så kort som muligt. I stedet for at placere high-bandwidth memory (HBM) ved siden af en GPU eller anden AI-accelerator vil virksomheden stable hukommelsen direkte oven på processoren i en vertikal 3D-pakke. På AI Infrastructure Summit den 16. september i Santa Clara præsenterede Samsung det som en mulig vej til mere reaktionshurtige AI-agenter.
1
9
Fra side om side til direkte oven på
I nutidens HBM-løsninger ligger hukommelsen typisk ved siden af acceleratoren i samme plan og forbindes via avanceret chipindpakning. Samsungs zHBM-koncept vender konstruktionen på højkant: HBM placeres direkte over AI-acceleratoren. Det er med andre ord en 3D-integration, der bringer logik og hukommelse fysisk tættere sammen.
12
13
Tanken er enkel: Når data skal rejse kortere, kan systemet i princippet få højere båndbredde og bedre energieffektivitet – og rumme mere hukommelse på samme areal. Samsung peger på næste generations wafer bonding, herunder hybrid copper bonding, som den teknik der skal muliggøre den vertikale opbygning.
7
48
Det er vigtigt at skelne mellem vision og produkt: zHBM er vist frem som en konceptmodel, og Samsung har endnu ikke oplyst en dato for kommercialisering.
13
14
Samsungs tal: Store mål, endnu ikke uafhængigt bekræftet
For et fremtidigt interface med zHBM angiver Samsung følgende mål:
- Omtrent 8 gange ydelsen fra HBM5
- Over 10 gange højere hukommelsestæthed end konventionel HBM5
- Cirka 3 gange bedre energieffektivitet
- Mere end 50 % lavere termisk modstand
13
48
På topmødet sagde Samsung også, at zHBM kan løfte AI-systemers responshastighed med mere end en faktor 10, med en ambition om at nå 1.000 tokens i sekundet.
1
9
Tallene er virksomhedens egne fremskrivninger for en fremtidig arkitektur – ikke uafhængigt validerede benchmarkresultater fra en accelerator, der allerede sælges. Udfordringen er betydelig: Hukommelse direkte oven på logik skal kunne produceres med højt udbytte, aflede varmen og godkendes sammen med partnernes acceleratorer.
Derfor er det relevant for AI-agenter
Samsung sætter zHBM ind i en sammenhæng med AI-agenter. Sådanne systemer skal igen og igen hente kontekst, køre inferens, bruge værktøjer og levere et svar. Mere regnekraft alene fjerner ikke flaskehalsen, hvis acceleratoren må vente på, at data flyttes frem og tilbage.
zHBM er tiltænkt netop denne flaskehals i hukommelse og dataoverførsel. Præmissen er, at en kortere vej til HBM kan gøre AI-systemet mere responsivt og samtidig reducere energiforbruget ved dataflytning.
1
7 Om det giver de lovede forbedringer i den samlede svartid, afhænger dog af hele løsningen: accelerator, software, model og indpakning – ikke kun placeringen af hukommelsen.
zNAND-O skal levere et mere kapacitetsstærkt lag
Samsung koblede zHBM med zNAND-O, en NAND-arkitektur med høj ydeevne til datatunge miljøer og edge-AI. zNAND-O placeres mellem DRAM og traditionel NAND-lagring: Målet er højere tæthed end DRAM samt bedre I/O-ydelse, lavere latenstid og bedre energieffektivitet end almindelig NAND.
49
51
De to teknologier har forskellige roller i hukommelseshierarkiet:
- zHBM er tænkt som det hurtigste hukommelseslag helt tæt på acceleratoren.
- zNAND-O skal levere et tættere lag til data- og modelkapacitet, som ville være dyr at holde udelukkende i DRAM.
49
53
Samsung henviser til en test med en GPT-model på 120 milliarder parametre, hvor zNAND-O nåede samme antal tokens pr. sekund som en traditionel DRAM-server til en sjettedel af driftsomkostningen. Det er et Samsung-rapporteret testresultat – ikke en generel garanti for omkostningerne ved drift af store modeller.
54
55
Virksomheden har desuden knyttet zNAND-O til den langsigtede udfordring med meget store lokale modeller og vurderer, at AI på enheden med modeller i trillion-parameter-klassen kan blive relevant omkring 2030.
53
CXL ser ikke ud til at overtage HBM's rolle
Topmødet understregede også en central pointe: Mere kapacitet gør ikke alle hukommelsestyper udskiftelige.
OpenAI-forskeren Daniel Morris, der arbejder med AI-acceleratorer, sagde, at han ikke havde fundet et CXL-anvendelsestilfælde til selve afviklingen af AI-modeller. Han så dog en mulig rolle for data, der kun bruges sjældent i store modeller. Intels Vidia Thiagarajan beskrev tilsvarende CXL-baseret hukommelsespulje som et supplement til sekundær lagring snarere end en erstatning for HBM, blandt andet på grund af forskellen i båndbredde mellem CXL-forbundet hukommelse og HBM.
18
22
Det betyder ikke, at CXL – Compute Express Link, en standard til sammenkobling og udvidelse af hukommelse – er uden værdi. Det peger snarere mod et lagdelt design: HBM tæt på acceleratoren til aktive, båndbreddekrævende beregninger, mens CXL og andre lager- eller hukommelseslag håndterer kapacitetsorienterede opgaver.
Hvad det betyder i HBM-kapløbet
På kort sigt afgøres konkurrencen om HBM stadig af evnen til at producere, kvalificere og levere hukommelse til konkrete acceleratorplatforme. zHBM giver Samsung et særligt langsigtet arkitekturspor, men fritager ikke selskabet for at dokumentere produktionsudbytte, varmehåndtering, driftssikkerhed og kundernes integration.
Skepsissen over for CXL som erstatning for lokal HBM under aktiv modelafvikling styrker samtidig HBM's betydning i den hurtigste del af AI-systemet. Det afgørende konkurrencespørgsmål bliver derfor ikke kun, hvem der har den mest ambitiøse 3D-idé, men hvem der først kan omsætte avanceret indpakning og hukommelsesdesign til kvalificerede produkter i volumen.
18
33
36
Bundlinjen
Samsungs budskab er, at AI-ydelse i stigende grad begrænses af dataflytning, hukommelseskapacitet, strømforbrug og varme – ikke alene af processorens regnekraft. zHBM er et forslag til at tackle dette med en 3D-konstruktion, hvor hukommelsen ligger direkte på acceleratoren, mens zNAND-O skal tilføre et tættere lag til større AI-arbejdsbelastninger.
Potentialet i Samsungs tal er stort, men teknologien er fortsat på konceptstadiet. Den vigtigste konklusion for AI-infrastrukturplanlæggere er derfor ikke, at et zHBM-produkt er lige om hjørnet, men at retningen er tydelig: Fremtidens AI-systemer vil sandsynligvis bruge stadig mere specialiserede og vertikalt integrerede hukommelseslag, hvor HBM fortsat er centralt i den mest højtydende beregningsvej.
13
14
18