Samsungin LPDDR5X-PIM siirtää osan tekoälylaskennasta suoraan DRAM-muistiin

Samsung esitteli Hot Chips 2026 -tapahtumassa LPDDR5X-PIM-muistiratkaisun, jossa osa tekoälyn tarvitsemasta laskennasta tehdään suoraan vähävirtaisen DRAM-muistin yhteydessä. Processing-in-memory- eli PIM-tekniikan tavoitteena on vähentää datan siirtämistä muistin ja järjestelmäpiirin välillä.

Samsungin mukaan 16 gigatavun LPDDR5X-PIM-paketti sisältää 16 muistipankkeihin sijoitettua käsittelylohkoa. Edge-AI-järjestelmässä, jossa ajettiin Llama 3.1 8B -kielimallia, yhtiö raportoi 2,28-kertaisen lyhennyksen päättelyaikaan ja 3,01-kertaisen kasvun token-läpimenoon verrattuna tavanomaiseen LPDDR5X-muistiin. Kyse on Samsungin omasta testiasetelmasta, joten tuloksia ei pidä tulkita yleispäteväksi suorituskykykertoimeksi. 1 9

Mikä pullonkaula LPDDR5X-PIM:llä ratkaistaan?

Suurissa kielimalleissa prosessori tai tekoälykiihdytin joutuu lukemaan mallin painoja ja välituloksia jatkuvasti DRAM-muistista. Monissa päättelytehtävissä ongelmana ei ole pelkästään laskentayksiköiden määrä, vaan se, kuinka nopeasti data saadaan siirrettyä niiden luo.

PIM pyrkii ratkaisemaan tämän tekemällä valittuja operaatioita muistipankkien lähellä. Tällöin kaikkia operandien ja välitulosten siirtoja ei tarvitse kuljettaa ulkoisen muistiväylän kautta. Samsung kuvaa LPDDR5X-PIM:ää ensimmäiseksi LPDDR-pohjaiseksi PIM-ratkaisukseen tekoälypäättelyä varten. 2 9 13

Tekniikka sopii erityisesti tehtäviin, joissa toistuvat matriisi–vektorioperaatiot eli GEMV-laskenta muodostavat suuren osan työkuormasta.

16 PIM-lohkoa neljän sirun paketissa

Samsungin esittelemä kokoonpano on 16 gigatavun LPDDR5X-paketti, joka koostuu neljästä sirusta. Paketti käyttää JEDEC-tyylistä 561-kuulan rakennetta ja toimii 9 600 megabitin sekuntinopeudella nastaa kohti. Sirut jakavat komento- ja osoitesignaalit, mutta käyttävät erillisiä datalinjoja LPDDR-järjestelmille tyypilliseen tapaan. 9 17

Jokaiseen muistipankkien yhteyteen sijoitettujen PIM-lohkojen kokonaisuuteen kuuluu kaksi pääasiallista laskentatyyppiä:

• MAC-puut tekevät kertolaskujen ja yhteenlaskujen ketjutusta, jota tarvitaan esimerkiksi GEMV- ja muissa matriisioperaatioissa.
• Liukuluku- ja kokonaislukujen ALU-yksiköt hoitavat elementtikohtaisia sekä muita tukilaskutoimituksia.

Näin muisti ei rajoitu vain yhdenlaiseen aritmetiikkaan. Aiemmissa Samsungin PIM-esityksissä on kuvattu myös SIMD-liukulukuyksikköjä sekä PIM-yksiköiden sijoittamista muistipankkitasolle. Perusajatus on sama: laskenta tuodaan mahdollisimman lähelle sitä dataa, jota se käsittelee. 9 11

614 Gt/s ei tarkoita LPDDR5X:n ulkoista kaistaa

Samsung ilmoitti LPDDR5X-PIM:lle enintään 614 gigatavun sekuntikohtaisen sisäisen yhteenlasketun PIM-kaistan. Luku ei tarkoita, että järjestelmäpiiri saisi käyttöönsä tavanomaisen LPDDR5X-liitännän kautta 614 Gt/s:n ulkoisen muistikaistan. 1

Luku kuvaa useiden muistipankkien ja PIM-lohkojen samanaikaista sisäistä työskentelyä. Samsungin vertailussa sisäinen PIM-kaista oli noin kahdeksankertainen tavanomaiseen LPDDR5X-toteutukseen nähden. Etuna on siis tuettujen operaatioiden sisäinen rinnakkaisuus – ei ulkoisen muistiväylän muuttuminen 614 Gt/s:n yhteydeksi.

Osoitteiden kohdistus mahdollistaa pankkien rinnakkaisen laskennan

Keskeinen toiminto on Address Align Mode. Siinä toisiaan vastaavat operandit sijoitetaan samaan osoitekohtaan useissa muistipankeissa. Yhteinen PIM-komento voi tämän jälkeen käynnistää saman operaation rinnakkain eri pankeissa.

Ratkaisu hyödyntää LPDDR-rankin rakennetta: neljä sirua vastaanottaa samat komento- ja osoitetiedot, mutta niillä on erilliset datalinjat. Näin paketissa voidaan käyttää useita laskentayksiköitä rinnakkain ilman, että koko muistia käsitellään yhtenä tavallisena ulkoisena leveänä kanavana. 17

Samsung kuvasi kaksi käyttötapaa:

• Single-bank-tila käyttää yhtä muistipankkia kerrallaan. Se tarjoaa tarkemman hallinnan ja jättää enemmän tilaa tavalliselle DRAM-liikenteelle.
• Multi-bank-tila aktivoi useita PIM-lohkoja samanaikaisesti ja kasvattaa sopivien laskentaytimien sisäistä rinnakkaisuutta ja kaistaa.

Valinta riippuu työkuormasta. Useampien pankkien aktivointi voi parantaa läpimenoa, mutta samalla tavalliseen muistiliikenteeseen jää hetkellisesti vähemmän pankkeja. PIM ei siis ole ohjelmistolle täysin näkymätön kiihdytin: tensorien sijoittelu, ohjelmistotuki ja laskentaytimien sovittaminen muistipankkien rakenteeseen ovat tärkeitä.

Samsungin Llama 3.1 8B -tulokset

Samsung raportoi reunalaskentaan tarkoitetulla SoC-järjestelmällä seuraavat tulokset verrattuna tavanomaiseen LPDDR5X-muistiin:

• 2,28 kertaa lyhyempi päättelyaika
• 3,01 kertaa suurempi token-läpimeno
• Jopa 614 Gt/s:n sisäinen PIM-kaista, kun vertailun tavanomainen LPDDR5X-kaista oli esityksen perusteella noin 76,8 Gt/s

Tulokset kuvaavat tiettyä Samsungin testiympäristöä. Todellinen hyöty vaihtelee muun muassa mallin tarkkuuden, kvantisoinnin, eräkoon, tensorien sijoittelun, muistikapasiteetin ja GEMV-tyyppisten operaatioiden osuuden mukaan.

Samsung nosti esiin myös pienemmän virrankulutuksen, koska datan siirtämistä muistin ja SoC:n välillä voidaan vähentää. Saatavilla oleva aineisto ei kuitenkaan sisällä riippumattomasti varmennettua wattia per päättely tai joulea per token -lukua. Virrankulutuksen etu kannattaa siksi ymmärtää arkkitehtuurin tavoitteena ja sopivien työkuormien odotettuna hyötynä, ei julkaistuna prosentuaalisena säästönä.

LPDDR5X-PIM ei syrjäytä HBM:ää

HBM on edelleen vahvempi vaihtoehto, kun tekoälykiihdytin tarvitsee mahdollisimman suuren yleiskäyttöisen ulkoisen muistikaistan. Se sopii erityisesti suuriin palvelinkeskusten kiihdyttimiin ja tekoälymallien koulutukseen. HBM:n hinta ja toteutuksen monimutkaisuus ovat kuitenkin suurempia, sillä tekniikka perustuu pinottuun DRAM-muistiin, läpivienteihin ja kehittyneeseen pakkaamiseen.

Micron kertoi Hot Chips -tapahtumassa, että HBM:n piipinta-alan kustannus suhteessa DDR5-muistiin kasvaa sukupolvien myötä. Yhtiön vertailussa saman kapasiteetin HBM-ratkaisu vaati noin kolminkertaisen piipinta-alan.

Samsung tekee toisenlaisen kompromissin. LPDDR5X-PIM säilyttää vähävirtaisen DRAM-muodon ja lisää muistipankkien yhteyteen rajatun määrän erikoistunutta laskentaa. Se ei pysty tarjoamaan HBM:n yleiskäyttöistä kiihdytinkaistaa, mutta voi sopia tilanteisiin, joissa päättelyä hidastaa ensisijaisesti datan liikuttaminen eikä huippuluokan liukulukulaskennan puute.

Mahdollisia käyttökohteita ovat:

• Mobiili- ja asiakaslaitteet, joissa tekoälyä ajetaan akun, lämmön ja tilan ehdoilla.
• Reunalaskenta, jossa paikallista päättelyä halutaan ilman erillistä HBM-kiihdytintä.
• Palvelimet, joissa päättely tai datankäsittely on muistiliikenteen rajoittamaa eikä tarvitse suurinta mahdollista FLOPS-suorituskykyä.

Tarkempi luonnehdinta onkin, että LPDDR5X-PIM täydentää HBM:ää tai tarjoaa sille kustannustietoisen vaihtoehdon valituissa päättelytehtävissä – se ei ole yleinen HBM-korvaaja.

FMS-esittelystä kohti LPDDR6-PIM:ää

Samsung esitteli LPDDR5X-PIM:n jo FMS 2026 -tapahtumassa. Hot Chips -esityksessä se avasi tarkemmin arkkitehtuuria ja suorituskykyä; konferenssin ohjelmassa Samsungin puhe oli omistettu LPDDR-pohjaiselle PIM-ratkaisulle tekoälypäättelyssä. 9 13

Yhtiön laajempi tavoite näyttää olevan PIM:n tuominen erikoistuneista HBM-kokeiluista vähävirtaiseen muistiin, jota voidaan käyttää useammissa laiteluokissa. Samsungin pidemmän aikavälin LPDDR6-PIM-suunnitelmiin liittyy myös standardointitavoite, mutta käytettävissä oleva näyttö ei vahvista lopullista JEDEC-standardia tai sen hyväksymispäivää.

DeepX on puolestaan kertonut aikovansa käyttää Samsungin LPDDR5X-PIM:ää toisen sukupolven DX-M2-piirissään ja tähtäävänsä LPDDR6-PIM:ään myöhemmässä DX-M3-suunnitelmassa. 15

LPDDR5X-PIM ja XCENA MX1 ovat eri tason ratkaisuja

Samsungin esitys oli samassa Hot Chipsin muistiosiossa kuin XCENA MX1, mutta kyse ei ole samasta tekniikasta.

XCENA MX1 on CXL Type 3 -laskentamuistilaite, joka on suunnattu räkkitason palvelininfrastruktuuriin. Se yhdistää jopa 2 teratavua DDR5-kapasiteettia, SSD-levyyn perustuvaa lisäkapasiteettia ja yli 1 000 RISC-V-ydintä muistia lähellä tapahtuvaa laskentaa varten. 4 10

LPDDR5X-PIM taas integroi pienemmän joukon erikoistuneita laskentayksiköitä suoraan LPDDR-DRAM-pakettiin. Molemmat pyrkivät vähentämään datan siirtämistä isäntäprosessorin ja muistin välillä, mutta MX1 on CXL-väylään liitettävä palvelinlaite, kun taas Samsungin ratkaisu on SoC:n lähelle tarkoitettu vähävirtainen muistipaketti.

Mitä tästä kannattaa päätellä?

Samsungin Hot Chips 2026 -esitys antaa LPDDR5X-PIM:lle rajatun mutta kiinnostavan roolin tekoälypäättelyssä. Sen 16 PIM-lohkoa, pankkitason rinnakkaisuus, MAC-puut sekä liukuluku- ja kokonaislukujen ALU-yksiköt voivat pitää valitut laskutoimitukset lähellä dataa. Samalla paketti säilyttää LPDDR5X-tyyppisen muotorakenteen ja 9 600 megabitin sekuntinopeuden nastaa kohti. 9

Llama 3.1 8B -tulokset ovat lupaavia, mutta ne ovat työkuormakohtaisia Samsungin omia vertailulukuja. Teknologian merkitys on ennen kaikkea strateginen: PIM tuodaan nyt vähävirtaiseen muistiin, joka voisi palvella mobiili-, reuna-, asiakas- ja tiettyjä palvelinjärjestelmiä. HBM puolestaan säilyttää paikkansa tehtävissä, joissa tarvitaan todella suurta yleiskäyttöistä muistikaistaa.