Samsung bringt KI-Berechnungen direkt in den LPDDR5X-Speicher

Samsung hat auf der Hot Chips 2026 genauer erklärt, wie LPDDR5X-PIM Rechenlogik direkt in einen stromsparenden LPDDR5X-Speicher integriert. Die Technologie soll vor allem bei KI-Inferenz helfen: Statt Modellgewichte und Zwischenergebnisse ständig zwischen DRAM und Prozessor zu verschieben, werden ausgewählte Operationen nahe an den Speicherzellen ausgeführt.

Samsung spricht von bis zu 614 GB/s interner aggregierter PIM-Bandbreite. In einem unternehmenseigenen Test mit Llama 3.1 8B auf einem Edge-KI-SoC sank die Inferenzzeit laut Samsung um den Faktor 2,28, während der Token-Durchsatz um den Faktor 3,01 stieg. Diese Werte beziehen sich auf eine konkrete Testkonfiguration und sind nicht mit einer breit angelegten unabhängigen Evaluierung gleichzusetzen. 1 9

Das Problem: KI verbringt viel Zeit mit Datentransport

Bei der Inferenz großer Sprachmodelle müssen Gewichte und Zwischenergebnisse wiederholt zwischen Arbeitsspeicher und Recheneinheit bewegt werden. Gerade bei GEMV- beziehungsweise Matrix-Vektor-Operationen kann dieser Datentransport zum Flaschenhals werden.

Processing in Memory (PIM) setzt deshalb ausgewählte Rechenfunktionen direkt in oder neben die DRAM-Struktur. Der Prozessor muss dadurch nicht jeden Operanden über die externe Speicherschnittstelle anfordern. Samsung bezeichnet LPDDR5X-PIM als seine erste LPDDR-basierte PIM-Lösung für KI-Inferenz. 2 9 13

16 PIM-Blöcke in einem 16-GB-Paket

Die vorgestellte Konfiguration besteht aus einem 16 GB großen LPDDR5X-Paket mit vier Dies. Zum Einsatz kommt ein JEDEC-kompatibles 561-Ball-Gehäuse; der Speicher arbeitet mit 9.600 Mbit/s pro Pin. Die vier Dies teilen sich Befehls- und Adresssignale, verwenden aber getrennte Datenleitungen – eine für LPDDR-Systeme typische parallele Organisation. 9 17

Im Paket sind insgesamt 16 PIM-Blöcke über die DRAM-Bänke verteilt. Jeder Block kombiniert zwei Arten von Rechenlogik:

• MAC-Bäume übernehmen die vielen Multiply-Accumulate-Operationen, die bei GEMV und verwandten Matrixberechnungen anfallen.
• Gleitkomma- und Integer-ALUs erledigen elementweise sowie weitere unterstützende Berechnungen.

Damit ist LPDDR5X-PIM nicht auf eine einzige Zahlenrepräsentation beschränkt. Frühere Samsung-Unterlagen beschreiben zudem SIMD-Gleitkommaeinheiten und die Platzierung der PIM-Einheiten auf Bankebene. Das Grundprinzip bleibt gleich: Spezialisierte Rechenlogik sitzt möglichst nahe an den Daten, die sie verarbeitet. 9 11

614 GB/s: Was diese Zahl tatsächlich bedeutet

Die häufig genannte Zahl von 614 GB/s beschreibt nicht die normale externe Bandbreite, die ein Prozessor über eine herkömmliche LPDDR5X-Schnittstelle erhält. Gemeint ist die interne, aggregierte PIM-Bandbreite, die durch die parallele Arbeit mehrerer Bänke und Rechenblöcke entsteht. 1

In Samsungs Vergleich lag dieser interne Wert ungefähr achtmal über der konventionellen LPDDR5X-Bandbreite des Basissystems. Das bedeutet jedoch nicht, dass aus dem externen LPDDR-Anschluss plötzlich eine 614-GB/s-Verbindung wird. Die zusätzliche Bandbreite steht nur für unterstützte Operationen innerhalb des Speichers zur Verfügung.

Address Align Mode verteilt die Operanden passend

Eine zentrale Funktion ist der Address Align Mode. Dabei werden zusammengehörige Operanden an passenden Adressen in mehreren Speicherbänken abgelegt. Ein gemeinsamer PIM-Befehl kann anschließend dieselbe Operation parallel in diesen Bänken auslösen.

Das passt zur Organisation eines LPDDR-Ranks: Die vier Dies empfangen Befehls- und Adressinformationen synchron, verfügen aber über separate Datenpfade. Dadurch kann die interne Parallelität genutzt werden, ohne das Paket als einen einzigen, konventionell breiten externen Kanal behandeln zu müssen. 17

Samsung unterscheidet zwei Betriebsarten:

• Single-Bank-Betrieb: Er bietet eine feinere Steuerung und lässt mehr Spielraum, gleichzeitig normalen DRAM-Verkehr abzuwickeln.
• Multi-Bank-Betrieb: Mehr PIM-Blöcke werden gleichzeitig aktiviert, wodurch bei geeigneten Rechenkernen die interne Parallelität und Bandbreite steigen.

Der Kompromiss hängt vom jeweiligen Programm ab. Je mehr Bänke an einer PIM-Operation beteiligt sind, desto höher kann der Durchsatz ausfallen. Gleichzeitig stehen diese Bänke währenddessen weniger für gewöhnliche Speicherzugriffe zur Verfügung. LPDDR5X-PIM ist daher kein vollständig unsichtbarer Zusatzbeschleuniger: Software, Tensor-Layout und Rechenkerne müssen auf die Bankstruktur abgestimmt werden.

Samsungs Ergebnisse mit Llama 3.1 8B

Für einen Edge-KI-SoC mit Llama 3.1 8B nennt Samsung im Vergleich zu konventionellem LPDDR5X folgende Werte:

• 2,28-mal kürzere Inferenzzeit
• 3,01-mal höherer Token-Durchsatz
• Bis zu 614 GB/s interne PIM-Bandbreite, gegenüber rund 76,8 GB/s im konventionellen Vergleichssystem der Präsentation

Die Zahlen sind als herstellerseitige Benchmarks zu lesen. Der tatsächliche Nutzen hängt unter anderem von Modellpräzision, Quantisierung, Tensor-Platzierung, Batch-Größe, Speicherkapazität und dem Anteil GEMV-ähnlicher Operationen ab.

Samsung nennt außerdem einen geringeren Energiebedarf als erwarteten Vorteil. Wenn weniger Daten zwischen Speicher und SoC bewegt werden, kann das die Effizienz geeigneter Workloads verbessern. In den vorliegenden Unterlagen fehlt jedoch ein unabhängig verifizierter Vergleichswert in Watt pro Inferenz oder Joule pro Token. Der Energiegewinn sollte daher als architektonisches Ziel und als möglicher Vorteil verstanden werden – nicht als veröffentlichte prozentuale Messung.

LPDDR5X-PIM ist kein HBM-Ersatz für jede Aufgabe

HBM bleibt die stärkere Lösung, wenn ein Beschleuniger maximale externe Speicherbandbreite benötigt. Das gilt insbesondere für große Trainingssysteme und leistungsstarke Rechenzentrumsbeschleuniger. HBM erreicht seine hohe Bandbreite allerdings mit gestapelten DRAM-Dies, Through-Silicon-Vias, aufwendiger Verpackung sowie höheren Anforderungen an Fläche und Thermik.

Auf der Hot Chips erklärte Micron, dass der Flächenaufwand von HBM gegenüber DDR5 weiter zunehme. In Microns Vergleich benötigte ein HBM-Design gleicher Kapazität ungefähr die dreifache Waferfläche.

Samsung verfolgt mit LPDDR5X-PIM einen anderen Ansatz: Das stromsparende LPDDR-Gehäuse bleibt erhalten, während ausgewählte Rechenfunktionen näher an die Speicherbänke rücken. Die Lösung kann daher für Inferenz attraktiv sein, wenn hauptsächlich Daten bewegt werden müssen und nicht die maximale universelle Gleitkommaleistung eines HBM-Beschleunigers gefragt ist.

Die möglichen Einsatzfelder sind entsprechend klar abgegrenzt:

• Mobile Geräte und PCs: lokale KI-Inferenz bei begrenztem Akku- und Thermikbudget.
• Edge-Systeme: lokale Verarbeitung ohne separaten HBM-basierten Beschleuniger.
• Server: Inferenz und Datenverarbeitung, bei denen der Datentransport stärker bremst als die reine Rechenleistung.

Die treffendste Einordnung lautet deshalb: LPDDR5X-PIM ist eine Ergänzung oder kostensensitive Alternative zu HBM für ausgewählte Inferenzaufgaben – kein universeller Ersatz.

Von FMS 2026 zu Hot Chips

Samsung hatte LPDDR5X-PIM bereits auf der FMS 2026 gezeigt. Die Hot-Chips-Präsentation lieferte anschließend mehr Details zur Architektur und zu den Leistungswerten; im Konferenzprogramm war ein eigener Vortrag zur LPDDR-basierten Verarbeitung im Speicher für KI-Inferenz vorgesehen. 9 13

Die strategische Richtung ist damit deutlich: PIM soll nicht auf spezielle HBM-Experimente beschränkt bleiben, sondern als praxistaugliche Funktion in stromsparenden Speichern verfügbar werden. Samsung verbindet diese Entwicklung langfristig mit einer möglichen LPDDR6-PIM-Standardisierung. Die verfügbaren Informationen belegen diese Zielrichtung, aber noch keine endgültig verabschiedete JEDEC-Spezifikation oder einen Ratifikationszeitpunkt.

Das südkoreanische KI-Chip-Start-up DeepX hat angekündigt, LPDDR5X-PIM von Samsung in seinem Chip der zweiten Generation DX-M2 einsetzen zu wollen. Für eine spätere DX-M3-Entwicklung nannte das Unternehmen LPDDR6-PIM als Ziel. 15

Abgrenzung zu XCENA MX1

LPDDR5X-PIM wurde auf der Speicher-Session von Hot Chips gemeinsam mit XCENAs MX1 vorgestellt. Die beiden Technologien arbeiten jedoch auf unterschiedlichen Ebenen.

XCENA MX1 ist ein CXL-Type-3-Gerät für Infrastruktur im Rack-Maßstab. Es kombiniert bis zu 2 TB DDR5-Speicher, SSD-gestützte Kapazität und mehr als 1.000 RISC-V-Kerne für Near-Memory-Processing. 4 10

LPDDR5X-PIM integriert dagegen eine kleinere Zahl spezialisierter Recheneinheiten direkt in einen LPDDR-DRAM. Beide Ansätze sollen den Datentransport zum Host reduzieren. MX1 ist jedoch ein über CXL angeschlossenes Serversystem, während Samsungs Lösung als stromsparendes Speicherpaket für SoCs und andere LPDDR-basierte Systeme gedacht ist.

Fazit: Mehr Rechenlogik, wo die Daten liegen

Samsung präsentiert LPDDR5X-PIM als gezielte Antwort auf den Speicher-Flaschenhals bei der KI-Inferenz. 16 PIM-Blöcke, parallele MAC-Bäume, Bank-Level-Parallelität sowie Gleitkomma- und Integer-ALUs sollen ausgewählte Operationen direkt an den Daten ausführen. Das Paket behält dabei das LPDDR5X-nahe Format und den Betriebspunkt von 9.600 Mbit/s pro Pin bei. 9

Die Llama-3.1-8B-Ergebnisse sind interessant, bleiben aber auf eine konkrete Samsung-Testumgebung beschränkt. Die größere Bedeutung liegt in der Richtung: PIM wird aus dem Bereich spezialisierter HBM-Lösungen in stromsparenden Speicher für mobile, Edge-, Client- und ausgewählte Serversysteme gebracht. HBM bleibt dort im Vorteil, wo maximale allgemeine Speicherbandbreite für Training oder High-End-Beschleunigung zählt.