Samsung esitteli zHBM:n pitkän aikavälin muistikonseptina, jossa HBM-muisti (high-bandwidth memory, suuren kaistanleveyden muisti) pinotaan suoraan AI-kiihdyttimen päälle. Tavoite on lyhentää ratkaisevasti matkaa, jonka data kulkee laskennan ja muistin välillä. Samsung kertoi 16. syyskuuta Santa Clarassa järjestetyssä AI Infrastructure Summitissa tavoittelevansa tällä yli kymmenkertaista AI-järjestelmien vastausnopeutta ja jopa 1 000 tokenia sekunnissa.
1
9
Miten zHBM eroaa nykyisestä HBM-paketoinnista?
Nykyisissä 2,5D-ratkaisuissa HBM-pinot ovat yleensä AI-kiihdyttimen, kuten GPU:n, vieressä samalla tasolla. Ne liitetään toisiinsa edistyneellä paketoinnilla. zHBM:ssä muisti nostetaan sen sijaan pystysuoraan suoraan prosessorin päälle: laskentalogiikka ja muisti muodostavat yhden 3D-rakenteen.
12
13
Ajatus on yksinkertainen: kun datan ei tarvitse kulkea sivusuunnassa kiihdyttimen ja muistin välillä, voidaan kasvattaa kaistanleveyttä ja parantaa energiatehokkuutta. Samalla samaan fyysiseen tilaan voidaan mahduttaa enemmän muistia. Samsungin mukaan toteutus vaatii seuraavan sukupolven kiekkojen liitostekniikkaa, kuten hybridistä kuparisidontaa.
7
48
Kyse ei ole vielä valmiista massatuotteesta. Samsung on esitellyt zHBM:n konseptimallina eikä ole julkistanut kaupallistamisen aikataulua.
13
14
Samsungin tavoitteet: 8× suorituskykyä ja pienempi lämpövastus
Samsungin zHBM:lle ilmoittamat tavoitteet ovat huomattavia. Yhtiön mukaan zHBM:ää hyödyntävä seuraavan sukupolven rajapintajärjestelmä voisi tarjota:
- noin kahdeksankertaisen suorituskyvyn HBM5:een verrattuna
- yli kymmenkertaisen muistitiheyden verrattuna tavanomaiseen HBM5:een
- noin kolminkertaisen energiatehokkuuden
- yli 50 % pienemmän lämpövastuksen.
13
48
Nämä ovat Samsungin omia, tulevaa arkkitehtuuria koskevia tavoitteita – eivät riippumattomasti varmennettuja tuloksia markkinoilla olevasta kiihdyttimestä. Muistin pinoaminen suoraan logiikkapiirin päälle asettaa vaatimuksia tuotantosaannolle, lämmönhallinnalle, luotettavuudelle ja kiihdytinvalmistajien hyväksynnälle.
Miksi tämä on tärkeää AI-agenteille?
Samsung kehysti zHBM:n erityisesti AI-agenttien näkökulmasta. Agenttipohjainen tekoäly hakee jatkuvasti kontekstia, tekee päättelyä, käyttää työkaluja ja tuottaa vastauksia. Pelkkä laskentatehon lisääminen ei riitä, jos kiihdytin joutuu odottamaan dataa muistista.
zHBM pyrkii vähentämään juuri tätä muistin ja datansiirron muodostamaa pullonkaulaa. Muistin tuominen lähemmäs kiihdytintä voi tehdä AI-järjestelmästä nopeammin reagoivan ja vähentää datansiirron energiankulutusta.
1
7 Käytännön vasteaika riippuu kuitenkin koko järjestelmästä: kiihdyttimestä, ohjelmistosta, mallista ja paketoinnista – ei vain muistin sijainnista.
zNAND-O tuo kapasiteettia DRAMin ja NANDin väliin
Samsung esitteli zHBM:n rinnalla myös zNAND-O:n, suuren suorituskyvyn NAND-arkkitehtuurin dataintensiivisiin ja reunalaskennan AI-käyttöihin. Se sijoittuu muistihierarkiassa DRAMin ja perinteisen NAND-tallennuksen väliin: tarkoitus on tarjota DRAMia suurempaa tiheyttä sekä tavanomaista NANDia parempi I/O-suorituskyky, viive ja energiatehokkuus.
49
51
Teknologioilla on eri roolit:
- zHBM on tarkoitettu kaikkein nopeimmaksi, AI-kiihdyttimen välittömään läheisyyteen sijoittuvaksi muistitasoksi.
- zNAND-O on tarkoitettu tiheämmäksi kapasiteettitasoksi suurille malleille ja datamäärille, joiden säilyttäminen kokonaan DRAMissa olisi kallista.
49
53
Samsung kertoi testistä, jossa 120 miljardin parametrin GPT-malli saavutti zNAND-O:lla saman tokeninopeuden kuin tavanomainen DRAM-palvelin, mutta käyttö kustansi kuudesosan. Tulos on Samsungin raportoima yksittäinen testi, ei yleispätevä kustannuslupaus kaikille suurten mallien käyttöönotolle.
54
55
Yhtiö on myös arvioinut, että biljoonan parametrin kokoluokan laitteessa ajettavat AI-mallit voivat tulla ajankohtaisiksi vuoteen 2030 mennessä.
53
CXL ei näytä korvaavan HBM:ää aktiivisessa AI-laskennassa
AI Infrastructure Summitissa korostui muistimarkkinan keskeinen ero: suurempi kapasiteetti ei tarkoita, että eri muistityypit olisivat keskenään vaihdettavia.
OpenAI:n kiihdytintutkija Daniel Morris sanoi, ettei hän ollut löytänyt CXL:lle (Compute Express Link) käyttötapausta varsinaiseen AI-mallien ajamiseen. Hänen mukaansa CXL voisi sopia suurten mallien harvoin käytetylle datalle. Intelin Vidia Thiagarajan puolestaan kuvasi CXL-muistipoolia toissijaisen tallennuksen täydennykseksi, ei HBM:n korvaajaksi, koska CXL-liitetyn muistin ja HBM:n välillä on suuri kaistanleveysero.
18
22
Tämä ei tee CXL:stä tarpeetonta. Todennäköisempi malli on kerroksellinen: HBM palvelee kiihdyttimen lähellä aktiivista, kaistanleveyttä vaativaa laskentaa, kun taas CXL ja muut muisti- tai tallennustasot tarjoavat edullisempaa kapasiteettia.
Mitä tämä merkitsee Samsungille ja SK hynixille?
HBM-kilpailun lähivuosien ratkaiseva tekijä on edelleen kyky valmistaa, hyväksyttää asiakkailla ja toimittaa muistia tiettyihin kiihdytinalustoihin. zHBM antaa Samsungille erottuvan pitkän aikavälin arkkitehtuurin, mutta konsepti ei poista tarvetta todistaa tuotantosaanto, lämmönhallinta, luotettavuus ja asiakasintegratsioonin toimivuus.
CXL:ää kohtaan esitetty epäily vahvistaa joka tapauksessa kiihdytinläheisen, suuren kaistanleveyden muistin merkitystä aktiivisessa AI-laskennassa. Kilpailu ei ratkea vain kunnianhimoisimmalla 3D-muistikonseptilla, vaan sillä, kuka pystyy muuttamaan muisti- ja paketointitekniikan ensin hyväksytyiksi volyymituotteiksi.
18
33
36
Ydinajatus
Samsungin viesti on, että tekoälyn suorituskykyä rajoittavat yhä enemmän datan liikuttelu, muistikapasiteetti, energiankulutus ja lämpö – ei vain laskentapiirin raaka suorituskyky. zHBM ehdottaa näihin ongelmiin 3D-rakennetta, jossa muisti on suoraan kiihdyttimen päällä. zNAND-O puolestaan tarjoaisi tiheämmän rinnakkaisen tason suurille AI-kuormille.
Mahdolliset hyödyt ovat suuria, mutta ne ovat toistaiseksi konseptivaiheen tavoitteita. AI-infrastruktuurin ostajille olennaisin johtopäätös on teknologian suunta: tulevat järjestelmät nojaavat todennäköisesti yhä erikoistuneempiin, pystysuoraan integroituihin muistitasoihin, ja HBM säilyy keskeisenä kaikkein vaativimmassa laskentapolussa.
13
14
18