AnswersPublished19 sources
Samsung visar hur LPDDR5X-PIM flyttar AI-beräkning närmare minnet
Samsung rapporterar 2,28 gånger kortare inferenstid och 3,01 gånger högre tokenhastighet för Llama 3.1 8B jämfört med konventionellt LPDDR5X, men resultaten kommer från företagets eget test. Det 16 GB stora paketet med fyra DRAM kretsar innehåller 16 PIM block med parallella MAC träd samt flyttals och heltalsenheter...
Publicerad avRedigerad med GPT-5.6 LunaBilder genererade med GPT Image 1.5
Research answer
Key takeaways
- Samsung rapporterar 2,28 gånger kortare inferenstid och 3,01 gånger högre tokenhastighet för Llama 3.1 8B jämfört med konventionellt LPDDR5X, men resultaten kommer från företagets eget test.
- Det 16 GB stora paketet med fyra DRAM kretsar innehåller 16 PIM block med parallella MAC träd samt flyttals och heltalsenheter som minskar behovet av att flytta data mellan minnet och processorn.
- LPDDR5X PIM riktas mot bandbreddsbegränsad inferens i mobiler, klientprodukter, edge system och vissa servrar – inte som en generell ersättare för HBM i avancerad träning.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What did Samsung reveal about its LPDDR5X-PIM processing-in-memory technology at Hot Chips 2026—including how its 16 in-DRAM processing bloc. Article summary: Samsung positioned LPDDR5X-PIM as an LPDDR5X-compatible, inference-oriented memory architecture that moves repeated vector/matrix work into DRAM. Its headline claim is not that it replaces HBM in top-end GPU training, bu. Topic tags: general, general web, academic, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
Samsung använde Hot Chips 2026 för att visa hur LPDDR5X-PIM lägger till beräkningsfunktioner direkt i det lågförbrukande DRAM-minnet LPDDR5X. Tanken är att utföra utvalda AI-operationer nära minnesbankerna i stället för att skicka varje operand fram och tillbaka mellan DRAM och en separat processor.
I ett edge-AI-system som körde Llama 3.1 8B rapporterade Samsung 2,28 gånger kortare inferenstid och 3,01 gånger högre tokenkapacitet än med konventionellt LPDDR5X. Det är dock företagets egna resultat från en specifik testkonfiguration, inte en bred och oberoende jämförelse. 1
9
Problemet LPDDR5X-PIM försöker lösa
Vid inferens av stora språkmodeller går mycket tid åt till att läsa modellvikter och mellanresultat från minnet. För vissa arbetslaster kan dataflytten bli en större flaskhals än själva beräkningarna.
PIM, eller processing-in-memory, angriper problemet genom att låta minnet utföra vissa operationer lokalt. Samsung beskriver LPDDR5X-PIM som företagets första PIM-lösning baserad på LPDDR för AI-inferens. 2
9
13
Tekniken är särskilt relevant för återkommande matris-vektor-operationer, där minskad dataflytt kan ge större effekt än att bara lägga till mer traditionell beräkningskapacitet.
16 PIM-block i ett fyrkretspaket
Den presenterade lösningen består av ett 16 GB stort LPDDR5X-paket med fyra DRAM-kretsar i ett JEDEC-kompatibelt paket med 561 kulor. Minnet arbetar med 9 600 Mbit/s per anslutningspinne. De fyra kretsarna delar kommando- och adressignaler, men använder separata datalinjer, i linje med den parallella organisationen i LPDDR5-system. 9
17
Paketet innehåller 16 PIM-block som är fördelade över DRAM-bankerna. Varje block kombinerar två huvudtyper av beräkningslogik:
- MAC-träd utför det reduktionstunga arbetet i multiplikationer och additioner, bland annat för GEMV- och närliggande matrisoperationer.
- Flyttals- och heltals-ALU:er hanterar elementvisa beräkningar och andra stödoperationer.
Den heterogena uppbyggnaden gör att minnet kan hantera mer än enkel aritmetik med en enda datatyp. Samsungs tidigare PIM-material beskriver också SIMD-baserad flyttalslogik och PIM-enheter placerade på banknivå, vilket illustrerar den övergripande idén: specialiserad beräkning ska finnas nära den data den behöver. 9
11
614 GB/s betyder inte att LPDDR5X får en ny extern minnesbuss
Samsung angav upp till 614 GB/s i aggregerad intern PIM-bandbredd. Det är inte den vanliga bandbredd som en värdprocessor får tillgång till över en konventionell LPDDR5X-anslutning. Siffran beskriver den parallella databehandlingen inne i minnespaketet, över flera banker och PIM-block. 1
I Samsungs jämförelse var den interna PIM-bandbredden ungefär åtta gånger högre än den konventionella LPDDR5X-bandbredden i baslinjen. Skillnaden är viktig: PIM ökar bandbredden internt för operationer som stöds av hårdvaran, men gör inte den externa LPDDR-länken till en 614 GB/s-anslutning.
Address Align Mode synkroniserar arbetet över minnesbankerna
En central del av konstruktionen är Address Align Mode. Motsvarande operander placeras på matchande adresser i de banker som deltar. Då kan ett gemensamt PIM-kommando starta samma operation parallellt i flera banker.
Det fungerar eftersom kretsarna i en LPDDR-rank tar emot gemensamma kommando- och adresssignaler samtidigt som de har separata datavägar. Paketet behandlas därför inte som en enda konventionell, bred extern kanal, utan som flera internt samverkande minnesdelar. 17
Samsung beskriver två arbetslägen:
- Enbanksdrift ger mer detaljerad kontroll och lämnar större utrymme för vanliga DRAM-åtkomster parallellt med PIM-arbetet.
- Flerbanksdrift aktiverar fler PIM-block samtidigt och kan ge högre intern parallellism och bandbredd för lämpliga kärnor.
Det finns samtidigt en tydlig avvägning. Fler deltagande banker kan höja genomströmningen, men innebär också att färre banker är tillgängliga för vanliga minnesåtkomster under samma tid. PIM fungerar därför bäst när programvara, tensorlayout och beräkningskärnor anpassas till minnesbankernas struktur – inte när tekniken behandlas som en helt osynlig accelerator.
Samsungs Llama 3.1 8B-resultat
I ett edge-AI-system som körde Llama 3.1 8B rapporterade Samsung följande jämförelse med konventionellt LPDDR5X:
- 2,28 gånger kortare inferenstid
- 3,01 gånger högre tokenhastighet
- Upp till 614 GB/s intern PIM-bandbredd, jämfört med omkring 76,8 GB/s för den konventionella baslinje som presenterades
Siffrorna gäller en specifik testmiljö och ska inte tolkas som en generell prestandafaktor. Utfallet påverkas bland annat av modellens precision, tensorplacering, batchstorlek, minneskapacitet, mjukvarustöd och hur stor del av arbetslasten som består av GEMV-liknande operationer.
Samsung lyfte även fram lägre energiförbrukning som en arkitektonisk fördel, eftersom mindre data behöver flyttas mellan minnet och systemkretsen. Det tillgängliga materialet innehåller däremot inget oberoende verifierat mått i watt per inferens eller joule per token. Energifördelen bör därför ses som ett designmål och en förväntad effekt för lämpliga arbetslaster – inte som en publicerad procentuell minskning.
LPDDR5X-PIM jämfört med HBM
HBM är fortfarande det starkare alternativet när en accelerator behöver maximal extern minnesbandbredd, särskilt vid storskalig träning och avancerade datacenterarbetslaster. HBM bygger på staplat DRAM, genomgående kiselvias, avancerad kapsling och betydande krav på kiselarea och värmehantering. Vid Hot Chips beskrev Micron hur HBM:s areanackdel jämfört med DDR5 fortsätter att öka; i företagets jämförelse kräver HBM med samma kapacitet ungefär tre gånger så stor waferarea.
Samsung gör i stället en annan kompromiss. LPDDR5X-PIM behåller lågförbrukande DRAM i ett kompakt paket och lägger till begränsad beräkningskapacitet nära minnesbankerna. Tekniken kan inte erbjuda HBM:s allmänna acceleratorbandbredd, men kan vara intressant när huvudproblemet är att flytta data under inferens – inte att leverera maximal flyttalsprestanda.
Det ger tekniken en tydlig målgrupp:
- Mobiler och klientenheter: AI på enheten under strama energi- och temperaturbegränsningar.
- Edge-system: lokal inferens utan en separat accelerator med HBM.
- Servrar: inferens och databehandling där dataflytten begränsar prestandan mer än den maximala FLOPS-kapaciteten.
Den mest korrekta beskrivningen är därför att LPDDR5X-PIM kompletterar HBM eller fungerar som ett kostnadskänsligt alternativ för utvalda inferenslaster – inte att det ersätter HBM överallt.
Från FMS till Hot Chips och vidare mot LPDDR6-PIM
Samsung hade redan visat LPDDR5X-PIM vid FMS 2026. Hot Chips-presentationen gav en mer detaljerad genomgång av arkitekturen och prestandan, och konferensprogrammet listade Samsungs föredrag som en särskild presentation om LPDDR-baserad PIM för AI-inferens. 9
13
Den långsiktiga inriktningen är att göra PIM till en mer praktiskt användbar funktion i lågförbrukande minnen, i stället för att begränsa tekniken till specialiserade HBM-experiment. DeepX har uppgett att företagets andra generation av DX-M2-chipet ska använda Samsung LPDDR5X-PIM och att LPDDR6-PIM är tänkt för en senare DX-M3-design. 15
Samsung kopplar också den långsiktiga LPDDR6-PIM-planen till standardisering. Det tillgängliga underlaget visar en sådan ambition, men fastställer inte någon färdig JEDEC-specifikation eller något datum för ratificering. 15
LPDDR5X-PIM och XCENA MX1 är närbesläktade idéer – men olika produkter
Samsung presenterade LPDDR5X-PIM i samma minnessession vid Hot Chips som XCENA:s MX1, men lösningarna arbetar på olika nivåer i systemet.
XCENA MX1 är en CXL Type 3-enhet för beräkningsminne som riktar sig mot infrastruktur på racknivå. Den kombinerar upp till 2 TB DDR5, SSD-baserad kapacitet och mer än 1 000 RISC-V-kärnor för beräkning nära minnet. 4
10
LPDDR5X-PIM integrerar däremot ett mindre antal specialiserade beräkningsenheter direkt i LPDDR-minnet. Båda lösningarna försöker minska dataflytten till värdprocessorn, men MX1 är en CXL-ansluten serverprodukt medan Samsungs lösning är ett lågförbrukande minnespaket som är tänkt att sitta nära en systemkrets eller i en annan LPDDR-baserad plattform.
Slutsats
Samsungs presentation vid Hot Chips 2026 beskriver LPDDR5X-PIM som ett riktat svar på minnesflaskhalsen i AI-inferens. De 16 PIM-blocken, parallellismen på banknivå, MAC-träden och ALU:erna för flyttal och heltal kan hålla utvalda beräkningar nära datan, samtidigt som paketet behåller LPDDR5X-formatet och en arbetspunkt på 9 600 Mbit/s per pinne. 9
Resultaten för Llama 3.1 8B är intressanta, men bör läsas som arbetslastspecifika leverantörsbenchmarkar. Den större betydelsen ligger i riktningen: Samsung försöker föra PIM från specialiserade HBM-lösningar till lågförbrukande minnen som kan passa mobiler, edge-enheter, klientprodukter och vissa servrar – medan HBM fortsatt är valet för arbetslaster som verkligen kräver mycket hög generell minnesbandbredd.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Samsung visar hur LPDDR5X-PIM flyttar AI-beräkning närmare minnet"?
Samsung rapporterar 2,28 gånger kortare inferenstid och 3,01 gånger högre tokenhastighet för Llama 3.1 8B jämfört med konventionellt LPDDR5X, men resultaten kommer från företagets eget test.
What are the key points to validate first?
Samsung rapporterar 2,28 gånger kortare inferenstid och 3,01 gånger högre tokenhastighet för Llama 3.1 8B jämfört med konventionellt LPDDR5X, men resultaten kommer från företagets eget test. Det 16 GB stora paketet med fyra DRAM kretsar innehåller 16 PIM block med parallella MAC träd samt flyttals och heltalsenheter som minskar behovet av att flytta data mellan minnet och processorn.
What should I do next in practice?
LPDDR5X PIM riktas mot bandbreddsbegränsad inferens i mobiler, klientprodukter, edge system och vissa servrar – inte som en generell ersättare för HBM i avancerad träning.
Sources
tomshardware.comHot Chips 2026: Samsung makes LPDDR5X smart with logic unit in memory — LPDDR5X-PIM is 3.01x faster than LPDDR5X in AI inference with 8x the bandwidth
servethehome.comSamsung LPDDR5X-PIM at Hot Chips 2026
en.sedaily.comSamsung Wins Two FMS Awards for Next-Generation Memory
hc2026.hotchips.orgLivestream - Hot Chips 2026