Samsung ukázal LPDDR5X-PIM: paměť s interním AI výkonem až 614 GB/s

Samsung na konferenci Hot Chips 2026 podrobněji představil LPDDR5X-PIM – nízkoenergetickou paměť LPDDR5X, která část výpočtů provádí přímo u paměťových bank. Cílem je omezit neustálé přesouvání vah a mezivýsledků mezi DRAM a procesorem, což bývá u AI inference významnou brzdou.

Podle Samsungu dosáhla technologie při běhu modelu Llama 3.1 8B na edge-AI SoC 2,28× kratší doby inference a 3,01× vyšší propustnosti tokenů než konvenční LPDDR5X. Výsledky jsou ale firemním měřením v konkrétní konfiguraci, nikoli univerzálním výkonnostním násobkem potvrzeným nezávislým testem. 1 9

Co má LPDDR5X-PIM řešit

Při inferenci velkých jazykových modelů se data často přesouvají mezi pamětí a výpočetní jednotkou častěji, než by bylo ideální. Procesing v paměti, zkráceně PIM, přesouvá vybrané operace blíže k samotným paměťovým buňkám. Procesor tak nemusí pokaždé načítat všechny operandy, provést jednoduchou operaci a výsledek znovu zapsat do DRAM.

Samsung LPDDR5X-PIM označuje za první PIM řešení založené na LPDDR. Technologie je proto zaměřena především na úlohy, v nichž se opakují maticové a vektorové operace a kde datové přesuny představují větší problém než nedostatek klasického výpočetního výkonu. 2 9 13

16 výpočetních bloků ve čtyřčipovém pouzdře

Oznámená konfigurace má kapacitu 16 GB a skládá se ze čtyř čipů v pouzdře odpovídajícím standardu JEDEC s 561 kuličkami. Paměť pracuje rychlostí 9 600 Mb/s na pin. Čipy sdílejí příkazové a adresové signály, zatímco datové linky zůstávají oddělené, což odpovídá paralelnímu uspořádání LPDDR5. 9 17

Uvnitř pouzdra je 16 PIM bloků rozmístěných napříč paměťovými bankami. Každý z nich kombinuje dva hlavní typy výpočetních jednotek:

• MAC stromy provádějí násobení a akumulaci, tedy operace důležité například pro GEMV a další maticové výpočty.
• FP a celočíselné ALU zpracovávají elementární operace a další podpůrné výpočty v plovoucí řádové čárce i v celých číslech.

Jde tedy o heterogenní návrh, který není omezený na jediný typ aritmetiky. Samsung už dříve popisoval podobný přístup u PIM: specializované jednotky umístěné na úrovni bank mají provádět výpočty co nejblíže datům, s nimiž pracují. 9 11

614 GB/s neznamená externí rychlost LPDDR5X

Nejvýraznějším číslem prezentace je až 614 GB/s interní agregované PIM propustnosti. Nejde o rychlost, kterou by získal hostitelský procesor přes běžné externí rozhraní LPDDR5X. Číslo vyjadřuje souběžné zpracování uvnitř více bank a PIM bloků. 1

V prezentovaném srovnání byla interní PIM propustnost přibližně osminásobná oproti konvenční LPDDR5X, jejíž základní hodnota vycházela zhruba na 76,8 GB/s. Důležité je rozlišovat mezi interní propustností pro podporované operace a šířkou běžného externího paměťového rozhraní. LPDDR5X-PIM z něj nedělá univerzální 614GB/s linku pro procesor.

Address Align Mode a práce s bankami

Klíčovou součástí návrhu je režim Address Align Mode. Odpovídající operandy jsou při něm uloženy na zarovnaných adresách v zapojených bankách. Jeden společný PIM příkaz pak může spustit stejnou operaci paralelně ve více bankách.

To souvisí s organizací LPDDR5: čtyři čipy v jednom ranku přijímají stejné příkazy a adresy v synchronizovaném režimu, ale používají samostatné datové cesty. Takové uspořádání umožňuje souběžné výpočty bez toho, aby se celé pouzdro chovalo jako jeden mimořádně široký externí kanál. 17

Samsung popsal dva režimy provozu:

• Single-bank operation nabízí jemnější řízení a ponechává větší prostor pro běžný přístup do DRAM.
• Multi-bank operation aktivuje více PIM bloků současně a zvyšuje interní paralelismus i propustnost u vhodných jader.

Více zapojených bank může zvýšit výkon, zároveň však dočasně omezuje kapacitu pro klasické paměťové operace. PIM proto není zcela transparentní akcelerátor, který by fungoval stejně dobře pro libovolný software. Výsledek závisí na rozložení tenzorů, podpoře v softwaru a na tom, zda se používané algoritmy dobře mapují na strukturu bank.

Výsledky s modelem Llama 3.1 8B

Na edge-AI SoC s modelem Llama 3.1 8B Samsung uvádí v porovnání s běžnou LPDDR5X:

• 2,28× kratší dobu inference,
• 3,01× vyšší propustnost tokenů,
• až 614 GB/s interní PIM propustnosti oproti přibližně 76,8 GB/s u konvenčního přístupu.

Skutečný přínos bude záviset na přesnosti modelu, kvantizaci, velikosti dávky, kapacitě paměti, umístění tenzorů a podílu GEMV operací na celkové době výpočtu. Výsledky proto nelze jednoduše přenést na každý telefon, notebook nebo server.

Samsung zároveň zdůrazňuje nižší spotřebu, protože se mezi pamětí a SoC přesouvá méně dat. V dostupných materiálech však není uvedena nezávisle ověřená hodnota ve wattech na inferenci ani v joulech na token. Energetická výhoda je proto zatím především očekávaným přínosem architektury pro vhodné úlohy, nikoli zveřejněným procentuálním výsledkem.

LPDDR5X-PIM proti HBM

HBM zůstává vhodnější tam, kde akcelerátor potřebuje maximální obecnou paměťovou propustnost – zejména u velkých datacenterových systémů a trénování modelů. Její výkon vychází ze skládané DRAM, křemíkových průchodů TSV a pokročilého pouzdření, které zvyšují nároky na plochu čipu, chlazení i výrobu. Micron na Hot Chips uvedl, že plošná penalizace HBM oproti DDR5 se podle jeho srovnání dále zvětšuje a paměť stejné kapacity může vyžadovat zhruba trojnásobnou plochu waferu.

Samsung volí jiný kompromis. LPDDR5X-PIM zachovává nízkoenergetický formát LPDDR a přidává omezené výpočetní funkce přímo k bankám. Nenabízí univerzální výkon ani propustnost HBM, ale může dávat smysl tam, kde je hlavním problémem přesun dat při inferenci, nikoli špičkový počet operací v plovoucí řádové čárce.

Nejpravděpodobnější oblasti využití jsou:

• mobily a klientská zařízení, kde AI běží pod přísnými limity baterie a teploty,
• edge systémy, které potřebují lokální inferenci bez samostatného akcelerátoru s HBM,
• servery, jejichž inference nebo datové zpracování naráží spíše na přesuny dat než na nedostatek výpočetních jednotek.

Přesnější je proto označovat LPDDR5X-PIM za doplněk nebo nákladově citlivou alternativu HBM pro vybrané inferenční úlohy, nikoli za univerzální náhradu HBM.

Od FMS k Hot Chips a další směr vývoje

Samsung LPDDR5X-PIM poprvé ukázal už na konferenci FMS 2026. Prezentace na Hot Chips následně přinesla podrobnější popis architektury a výsledky s modelem Llama 3.1 8B. Program konference zařadil řešení do samostatné paměťové sekce zaměřené na PIM v LPDDR pro AI inferenci. 9 13

Strategickým cílem je rozšířit PIM z experimentů s HBM do úspornější paměti, která se hodí pro SoC v mobilech, počítačích, edge zařízeních i některých serverech. Jihokorejský startup DeepX uvedl, že chce LPDDR5X-PIM použít ve svém čipu DX-M2 druhé generace a pro pozdější DX-M3 počítá s LPDDR6-PIM. 15

Samsung zároveň směřuje k budoucí standardizaci LPDDR6-PIM v rámci JEDEC. Veřejně dostupné informace potvrzují tento záměr, nikoli však hotovou specifikaci nebo datum jejího schválení. Standardizované příkazy, pravidla pro adresování a předvídatelné chování bank by byly důležité pro širší podporu ze strany výrobců SoC, operačních systémů i nástrojů pro AI.

Samsung LPDDR5X-PIM a XCENA MX1 nejsou totéž

Obě technologie se objevily ve stejné paměťové sekci Hot Chips, ale cílí na odlišné úrovně systému.

XCENA MX1 je výpočetní paměťové zařízení CXL Type 3 určené pro rackové serverové infrastruktury. Kombinuje až 2 TB DDR5, kapacitu podporovanou SSD a více než 1 000 jader RISC-V pro zpracování dat v blízkosti paměti. 4 10

LPDDR5X-PIM naproti tomu integruje menší počet specializovaných výpočetních jednotek přímo do nízkoenergetické DRAM. Obě koncepce se snaží omezit přesuny dat mezi hostitelským procesorem a pamětí, MX1 je však připojené zařízení přes CXL, zatímco Samsung integruje výpočty do pouzdra LPDDR určeného pro systémy typu SoC.

Praktický závěr

Hot Chips 2026 ukázaly LPDDR5X-PIM jako cílenou odpověď na paměťovou brzdu při AI inferenci. Šestnáct PIM bloků, MAC stromy, ALU pro celočíselné i FP výpočty a paralelní práce na úrovni bank mají vybrané operace udržet co nejblíže datům. Pouzdro přitom zachovává kapacitu 16 GB a rychlost 9 600 Mb/s na pin. 9

Výsledky s Llama 3.1 8B vypadají slibně, ale je nutné je číst jako benchmark konkrétního dodavatele. Význam technologie spočívá především v širší strategii: Samsung se snaží dostat PIM do úsporné a relativně univerzální paměti pro mobily, edge zařízení, klientské počítače a vybrané servery. HBM tak zůstává tam, kde je skutečně potřeba maximální obecná propustnost, zatímco LPDDR5X-PIM míří na úlohy, které nejvíce trpí přesouváním dat, spotřebou a náklady.