AnswersPublished19 sources
Samsung stopt AI-rekenkracht in LPDDR5X-geheugen: tot 614 GB/s voor inference
Samsung meldt bij Llama 3.1 8B een 2,28× kortere inferentietijd en 3,01× hogere tokenthroughput dan met conventioneel LPDDR5X. De 16GB chip in een pakket met vier dies bevat 16 PIM blokken.
Gepubliceerd doorBewerkt met GPT-5.6 LunaAfbeeldingen gegenereerd met GPT Image 1.5
Research answer
Key takeaways
- Samsung meldt bij Llama 3.1 8B een 2,28× kortere inferentietijd en 3,01× hogere tokenthroughput dan met conventioneel LPDDR5X.
- De 16GB chip in een pakket met vier dies bevat 16 PIM blokken. Die combineren parallelle MAC bomen met floatingpoint en integer ALU's om gegevensverplaatsing tijdens AI inference te beperken.
- LPDDR5X PIM is bedoeld als een energie en kostenefficiënte optie voor bandbreedtegebonden inference, niet als vervanger van HBM voor krachtige accelerators en grootschalige training.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What did Samsung reveal about its LPDDR5X-PIM processing-in-memory technology at Hot Chips 2026—including how its 16 in-DRAM processing bloc. Article summary: Samsung positioned LPDDR5X-PIM as an LPDDR5X-compatible, inference-oriented memory architecture that moves repeated vector/matrix work into DRAM. Its headline claim is not that it replaces HBM in top-end GPU training, bu. Topic tags: general, general web, academic, user generated. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
Samsung heeft op Hot Chips 2026 meer details gegeven over LPDDR5X-PIM: een variant van zuinig LPDDR5X-geheugen waarin ook beperkte rekenhardware zit. Daardoor kunnen bepaalde AI-bewerkingen in of vlak naast de DRAM-banken plaatsvinden, in plaats van dat alle gegevens steeds tussen geheugen en processor heen en weer worden gestuurd.
In een edge-AI-systeem met Llama 3.1 8B zegt Samsung een 2,28× kortere inferentietijd en 3,01× hogere tokenthroughput te hebben gemeten. Dat zijn resultaten van Samsung zelf en geen brede, onafhankelijke benchmark. 1
9
Welk probleem moet LPDDR5X-PIM oplossen?
Bij het uitvoeren van grote taalmodellen gaat veel tijd niet alleen naar rekenen, maar ook naar het verplaatsen van modelgewichten en tussenresultaten tussen DRAM en de processor. Processing-in-memory (PIM) probeert die flessenhals te beperken door geselecteerde bewerkingen direct bij de geheugenarrays uit te voeren.
Samsung noemt LPDDR5X-PIM zijn eerste PIM-oplossing op basis van LPDDR-geheugen voor AI-inference. De aanpak is vooral interessant voor workloads met veel herhaalde matrix-vectorbewerkingen, waarbij minder dataverkeer soms belangrijker is dan meer algemene rekenkracht. 2
9
13
16 PIM-blokken in een pakket met vier dies
De aangekondigde configuratie bestaat uit een 16 GB LPDDR5X-pakket met vier dies in een JEDEC-achtig pakket met 561 aansluitingen. Het geheugen werkt met 9.600 Mb/s per pin. De vier dies delen commando- en adresgegevens, maar hebben afzonderlijke datalijnen, zoals gebruikelijk bij de parallelle organisatie van LPDDR5-systemen. 9
17
In het pakket zijn 16 PIM-blokken over de DRAM-banken verdeeld. Elk blok combineert twee soorten hardware:
- MAC-bomen voeren de vermenigvuldigingen en optellingen uit die veel voorkomen in GEMV- en vergelijkbare matrixbewerkingen.
- Floatingpoint- en integer-ALU's verzorgen elementgewijze en andere ondersteunende berekeningen.
Die combinatie maakt het mogelijk om meer te doen dan alleen eenvoudige bewerkingen op één datatype. Eerder PIM-materiaal van Samsung beschrijft eveneens SIMD-floatingpointunits en PIM-eenheden op bankniveau. Het onderliggende idee blijft hetzelfde: gespecialiseerde rekenkracht zo dicht mogelijk bij de benodigde data plaatsen. 9
11
614 GB/s is interne bandbreedte
Samsung noemt een interne, geaggregeerde PIM-bandbreedte van maximaal 614 GB/s. Dat is niet de bandbreedte van de externe LPDDR5X-verbinding naar een processor. Het cijfer beschrijft de parallelle verwerking binnen het geheugen, verspreid over meerdere banken en PIM-blokken. 1
In Samsungs vergelijking ligt die interne PIM-bandbreedte ongeveer acht keer hoger dan de conventionele LPDDR5X-bandbreedte van de baseline. PIM maakt dus extra bandbreedte beschikbaar voor ondersteunde bewerkingen ín het geheugen; het verandert de externe LPDDR-interface niet in een verbinding van 614 GB/s.
Address Align Mode en verwerking per bank
Een belangrijk onderdeel is Address Align Mode. Overeenkomstige operanden worden op corresponderende adressen in meerdere banken geplaatst. Eén gedeeld PIM-commando kan daardoor dezelfde bewerking gelijktijdig in verschillende banken starten.
Dat sluit aan bij de manier waarop de dies in een LPDDR-rank werken: ze ontvangen dezelfde commando- en adresinformatie, maar behouden afzonderlijke datapaden. Zo ontstaat parallelle uitvoering zonder dat het pakket zich aan de buitenkant gedraagt als één conventioneel extreem breed geheugenkanaal. 17
Samsung beschreef twee manieren van werken:
- Single-bank-modus biedt fijnmazigere controle en laat meer ruimte voor gewone DRAM-toegang naast PIM-bewerkingen.
- Multi-bank-modus activeert meer PIM-blokken tegelijk en verhoogt zo de interne paralleliteit en bandbreedte voor geschikte kernels.
Daar zit wel een afweging aan. Meer deelnemende banken kunnen de doorvoer verhogen, maar zijn op dat moment niet beschikbaar voor conventionele geheugentoegang. De software moet daarom rekening houden met de bankstructuur, de tensorindeling en de ondersteunde kernels. LPDDR5X-PIM is geen volledig onzichtbare, plug-and-playversneller.
Samsungs resultaten met Llama 3.1 8B
Op een edge-AI-SoC met Llama 3.1 8B rapporteerde Samsung de volgende vergelijking met conventioneel LPDDR5X:
- 2,28× kortere inferentietijd;
- 3,01× hogere tokenthroughput;
- tot 614 GB/s interne PIM-bandbreedte, tegenover ongeveer 76,8 GB/s voor de conventionele baseline in de presentatie.
Deze cijfers gelden voor een specifieke testopstelling. De werkelijke winst hangt onder meer af van de modelprecisie, tensorplaatsing, batchgrootte, geheugencapaciteit, softwareondersteuning en het aandeel GEMV-achtige bewerkingen in de workload.
Samsung presenteert ook een lager energieverbruik als voordeel van minder dataverplaatsing tussen geheugen en SoC. In het beschikbare materiaal staat echter geen onafhankelijk verifieerbaar cijfer voor watt per inference of joule per token. De energiewinst moet daarom worden gelezen als een architecturaal doel en een verwacht voordeel bij geschikte workloads, niet als een vast percentage.
Geen HBM-vervanger
HBM blijft de logische keuze wanneer een accelerator maximale externe geheugenbandbreedte nodig heeft, vooral bij grootschalige training en zware datacenterworkloads. HBM gebruikt gestapeld DRAM, through-silicon vias, geavanceerde packaging en aanzienlijke thermische en fysieke middelen. Micron stelde op Hot Chips dat het oppervlaktestrafpunt van HBM tegenover DDR5 groter wordt; voor dezelfde capaciteit zou HBM in zijn vergelijking ongeveer drie keer zoveel waferoppervlak vereisen.
Samsung kiest met LPDDR5X-PIM voor een ander compromis: de relatief zuinige LPDDR-vormfactor blijft behouden, terwijl geselecteerde berekeningen naar de geheugenbanken worden verplaatst. De oplossing biedt niet de algemene acceleratorbandbreedte van HBM, maar kan wel interessant zijn wanneer het grootste probleem bij inference de verplaatsing van gegevens is en niet het gebrek aan maximale floatingpointrekenkracht.
Daarmee richt Samsung zich vooral op drie soorten systemen:
- Mobiele en clientapparaten: lokale AI binnen strikte energie- en thermische grenzen.
- Edge-systemen: lokale inference zonder een afzonderlijke HBM-accelerator.
- Servers: inference en gegevensverwerking waarbij dataverplaatsing de bottleneck vormt en de extra kosten van HBM-packaging moeilijk te rechtvaardigen zijn.
De nauwkeurigste omschrijving is daarom een aanvulling op, of een kostenbewust alternatief voor, HBM bij specifieke inference-workloads — geen universele vervanger. 9
Van FMS naar Hot Chips
Samsung liet LPDDR5X-PIM eerder al zien op FMS 2026. De presentatie op Hot Chips voegde vooral een uitgebreidere uitleg van de architectuur en de prestatieresultaten toe. Het officiële congresprogramma vermeldde Samsungs bijdrage als een afzonderlijke geheugensessie over LPDDR-gebaseerde PIM voor AI-inference. 9
13
De bredere strategie is om PIM minder afhankelijk te maken van gespecialiseerde HBM-experimenten en het concept naar energiezuinig geheugen te brengen dat in meer soorten systemen kan worden toegepast. Samsung koppelt die ontwikkeling op langere termijn aan LPDDR6-PIM en mogelijke standaardisering. Het beschikbare bewijs bevestigt echter geen definitieve JEDEC-specificatie of ratificatiedatum.
DeepX heeft gezegd dat het Samsung LPDDR5X-PIM wil gebruiken in zijn tweede generatie DX-M2-chip en LPDDR6-PIM voor een latere DX-M3-ontwerp richting. 15
LPDDR5X-PIM en XCENA MX1 zijn niet hetzelfde
Samsung presenteerde LPDDR5X-PIM in dezelfde geheugensessie als XCENA's MX1, maar de twee oplossingen werken op een ander systeemniveau.
XCENA MX1 is een CXL Type 3 computational-memoryapparaat voor infrastructuur op rackschaal. Het combineert tot 2 TB DDR5-capaciteit, SSD-ondersteunde capaciteit en meer dan 1.000 RISC-V-kernen voor verwerking dicht bij het geheugen. 4
10
LPDDR5X-PIM integreert daarentegen een kleinere set gespecialiseerde rekenunits rechtstreeks in LPDDR-DRAM. Beide technologieën proberen dataverplaatsing tussen host en geheugen te beperken, maar MX1 is een extern aangesloten CXL-serverapparaat, terwijl Samsungs ontwerp een energiezuinig geheugenpakket is dat dicht bij een SoC of een vergelijkbaar LPDDR-systeem wordt geplaatst.
De praktische conclusie
Samsung positioneert LPDDR5X-PIM als een gerichte oplossing voor de geheugenbottleneck bij AI-inference. De 16 PIM-blokken, bankparalleliteit, MAC-bomen en gemengde floatingpoint- en integer-ALU's kunnen geselecteerde bewerkingen dicht bij de data uitvoeren. Tegelijk behoudt het pakket een LPDDR5X-achtige vormfactor en een werkpunt van 9.600 Mb/s per pin. 9
De resultaten met Llama 3.1 8B zijn veelbelovend, maar moeten worden gelezen als een leveranciersbenchmark voor een specifieke workload. De belangrijkste betekenis zit daarom niet alleen in de genoemde 614 GB/s, maar in de richting die Samsung kiest: PIM uitbreiden naar energiezuinig geheugen voor mobiele apparaten, clients, edge-systemen en bepaalde servers. HBM blijft ondertussen de betere keuze voor workloads die echt maximale algemene geheugenbandbreedte nodig hebben.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Samsung stopt AI-rekenkracht in LPDDR5X-geheugen: tot 614 GB/s voor inference"?
Samsung meldt bij Llama 3.1 8B een 2,28× kortere inferentietijd en 3,01× hogere tokenthroughput dan met conventioneel LPDDR5X.
What are the key points to validate first?
Samsung meldt bij Llama 3.1 8B een 2,28× kortere inferentietijd en 3,01× hogere tokenthroughput dan met conventioneel LPDDR5X. De 16GB chip in een pakket met vier dies bevat 16 PIM blokken. Die combineren parallelle MAC bomen met floatingpoint en integer ALU's om gegevensverplaatsing tijdens AI inference te beperken.
What should I do next in practice?
LPDDR5X PIM is bedoeld als een energie en kostenefficiënte optie voor bandbreedtegebonden inference, niet als vervanger van HBM voor krachtige accelerators en grootschalige training.
Sources
tomshardware.comHot Chips 2026: Samsung makes LPDDR5X smart with logic unit in memory — LPDDR5X-PIM is 3.01x faster than LPDDR5X in AI inference with 8x the bandwidth
servethehome.comSamsung LPDDR5X-PIM at Hot Chips 2026
en.sedaily.comSamsung Wins Two FMS Awards for Next-Generation Memory
hc2026.hotchips.orgLivestream - Hot Chips 2026