Samsung LPDDR5X-PIM: la memoria esegue l’inferenza IA senza spostare continuamente i dati

Samsung ha usato Hot Chips 2026 per spiegare come LPDDR5X-PIM porti parte del calcolo direttamente nella memoria DRAM a basso consumo. L’obiettivo è ridurre il continuo trasferimento di pesi e dati intermedi tra memoria e processore, uno dei principali ostacoli nelle applicazioni di inferenza dei modelli linguistici.

Nel design presentato, 16 blocchi di elaborazione in memoria combinano alberi per le operazioni multiply-accumulate, o MAC, con unità aritmetiche per dati in virgola mobile e interi. Il tutto è integrato in un package LPDDR5X da 16 GB. Su un SoC per l’IA edge che eseguiva Llama 3.1 8B, Samsung ha dichiarato un’inferenza 2,28 volte più rapida e un throughput dei token 3,01 volte superiore rispetto a LPDDR5X convenzionale. Sono tuttavia benchmark specifici dell’azienda, non una verifica indipendente e generalizzata. 1 9

Il problema che LPDDR5X-PIM vuole risolvere

Nell’inferenza dei modelli linguistici, il processore spesso non è limitato soltanto dalla potenza di calcolo. Una parte rilevante del tempo viene spesa nel trasferire dalla DRAM al processore i pesi del modello, gli operandi e i risultati parziali.

La tecnologia Processing-in-Memory, o PIM, affronta questo collo di bottiglia eseguendo alcune operazioni vicino agli array di memoria, invece di inviare ogni dato attraverso l’interfaccia esterna. Samsung descrive LPDDR5X-PIM come la sua prima soluzione PIM basata su memoria LPDDR destinata all’inferenza IA. 2 9 13

L’approccio è particolarmente adatto ai carichi dominati da operazioni matrice-vettore ripetute, come GEMV, nei quali ridurre il movimento dei dati può essere importante quanto aggiungere nuove unità di calcolo tradizionali.

L’architettura: 16 blocchi PIM in un package a quattro die

La configurazione illustrata da Samsung utilizza un package LPDDR5X da 16 GB formato da quattro die, con package JEDEC a 561 sfere e velocità di 9.600 Mb/s per pin. I quattro die condividono i segnali di comando e indirizzo, ma utilizzano linee dati separate, secondo l’organizzazione parallela tipica dei sistemi LPDDR. 9 17

All’interno del package sono distribuiti 16 blocchi PIM, collocati in corrispondenza dei banchi DRAM. Ogni blocco combina due categorie di hardware:

• Alberi MAC, che eseguono il lavoro di moltiplicazione e accumulo con successiva riduzione, utile per GEMV e operazioni matriciali correlate.
• ALU in virgola mobile e intera, dedicate alle operazioni elemento per elemento e ad altri calcoli di supporto.

Questa organizzazione eterogenea consente alla memoria di gestire più di una semplice operazione aritmetica su un singolo tipo di dato. I materiali precedenti di Samsung descrivono inoltre unità floating-point SIMD e il posizionamento delle unità PIM a livello di banco, a conferma dell’idea generale: portare il calcolo specializzato il più vicino possibile ai dati. 9 11

I 614 GB/s non sono la banda dell’interfaccia LPDDR

Il dato più facile da interpretare male è quello dei 614 GB/s di banda PIM aggregata interna. Non si tratta della banda disponibile al processore attraverso una normale interfaccia LPDDR5X esterna. Il valore riflette il lavoro parallelo svolto all’interno della memoria da più banchi e blocchi PIM. 1

Nel confronto di Samsung, la banda interna PIM è circa otto volte superiore alla banda LPDDR5X convenzionale usata come riferimento. La differenza è sostanziale: PIM aumenta la banda effettiva interna per le operazioni supportate, ma non trasforma il collegamento esterno LPDDR in una connessione da 614 GB/s.

Address Align Mode e calcolo a livello di banco

Un elemento centrale è la modalità Address Align Mode. Gli operandi corrispondenti vengono disposti a indirizzi allineati nei banchi che partecipano all’operazione. In questo modo, un comando PIM condiviso può avviare lo stesso calcolo in parallelo su più banchi.

La tecnica sfrutta il fatto che i quattro die di un rank LPDDR ricevono gli stessi segnali di comando e indirizzo mentre mantengono percorsi dati distinti. Questo permette di eseguire il lavoro in parallelo senza trattare il package come un unico canale esterno convenzionale. 17

Samsung ha descritto due modalità operative:

• Operazione su singolo banco: offre un controllo più preciso e lascia maggiori possibilità di eseguire contemporaneamente traffico DRAM tradizionale.
• Operazione su più banchi: attiva più blocchi PIM nello stesso momento, aumentando il parallelismo interno e la banda per i kernel adatti.

Il compromesso dipende dal carico. Coinvolgere più banchi può aumentare il throughput, ma riduce quelli disponibili nello stesso istante per gli accessi DRAM convenzionali. Per questo PIM funziona al meglio quando software, disposizione dei tensori e kernel sono progettati tenendo conto della struttura dei banchi, anziché essere trattato come un acceleratore invisibile e intercambiabile.

I risultati dichiarati su Llama 3.1 8B

Su un SoC per l’IA edge con Llama 3.1 8B, Samsung ha confrontato LPDDR5X-PIM con LPDDR5X tradizionale e ha riportato:

• 2,28× in meno nel tempo di inferenza;
• 3,01× in più nel throughput dei token;
• fino a 614 GB/s di banda PIM interna, contro circa 76,8 GB/s per l’accesso LPDDR5X convenzionale riportato nella documentazione della presentazione.

Questi numeri descrivono una configurazione di test specifica, non un moltiplicatore di prestazioni valido per ogni modello. I risultati possono variare in base a precisione numerica, quantizzazione, dimensione del batch, capacità della memoria, posizionamento dei tensori, supporto software e percentuale del carico costituita da operazioni simili a GEMV.

Samsung ha indicato anche un consumo energetico potenzialmente inferiore, perché una quantità minore di dati deve viaggiare tra DRAM e SoC. Il materiale disponibile, però, non fornisce un dato indipendente e comparabile in watt per inferenza o joule per token. Il vantaggio energetico va quindi considerato un obiettivo architetturale e un beneficio atteso per i carichi adatti, non una riduzione percentuale già verificata. 9

LPDDR5X-PIM contro HBM: non è una sostituzione diretta

HBM resta la scelta più adatta quando un acceleratore necessita della massima banda esterna, soprattutto nei sistemi di fascia alta e nell’addestramento su larga scala. La tecnologia richiede DRAM impilata, TSV, packaging avanzato e importanti requisiti di area e dissipazione. A Hot Chips, Micron ha affermato che il costo in area del wafer rispetto a DDR5 continua ad aumentare: nella sua comparazione, una soluzione HBM della stessa capacità richiederebbe circa tre volte l’area del wafer.

Samsung propone un compromesso diverso. LPDDR5X-PIM conserva il formato della DRAM a basso consumo e aggiunge una capacità di calcolo limitata vicino ai banchi. Non può offrire la banda general-purpose di un sistema HBM per acceleratori di fascia alta, ma può risultare interessante quando il problema principale è spostare i dati durante l’inferenza, non raggiungere il massimo numero di operazioni floating-point.

I possibili ambiti sono quindi differenziati:

• Dispositivi mobili e client: inferenza IA direttamente sul dispositivo, con vincoli stringenti di batteria e temperatura.
• Sistemi edge: esecuzione locale dei modelli senza un acceleratore discreto basato su HBM.
• Server: inferenza e attività di elaborazione dei dati limitate dal movimento in memoria, dove il costo e la complessità del packaging HBM potrebbero non essere giustificati.

La descrizione più accurata è quella di una tecnologia complementare, o di un’alternativa più attenta ai costi, per determinati carichi di inferenza. Non è un sostituto universale di HBM.

Dal debutto a FMS alla presentazione di Hot Chips

Samsung aveva già mostrato LPDDR5X-PIM a FMS 2026. La sessione di Hot Chips del 25 agosto 2026 ha aggiunto maggiori dettagli sull’architettura e sui risultati prestazionali; il programma della conferenza ha inserito la presentazione Samsung nella sessione dedicata alle memorie e all’inferenza IA basata su LPDDR. 9 13

La direzione strategica è rendere il PIM una funzione più facilmente distribuibile nella memoria a basso consumo, invece di limitarlo a esperimenti specializzati su stack HBM. Samsung guarda anche a LPDDR6-PIM e a un possibile percorso di standardizzazione, ma le informazioni disponibili non dimostrano l’esistenza di una specifica JEDEC definitiva né di una data di ratifica. 15

DeepX ha dichiarato di voler utilizzare Samsung LPDDR5X-PIM nel chip DX-M2 di seconda generazione e di puntare a LPDDR6-PIM per un successivo progetto DX-M3. 15

LPDDR5X-PIM e XCENA MX1: stessa idea, livelli diversi

La presentazione Samsung si è svolta nella stessa sessione di memoria di quella dedicata a XCENA MX1, ma le due tecnologie operano a livelli diversi del sistema.

XCENA MX1 è un dispositivo di memoria computazionale CXL Type 3 destinato alle infrastrutture rack-scale. Integra fino a 2 TB di capacità DDR5, capacità supportata da SSD e oltre 1.000 core RISC-V per l’elaborazione near-memory. 4 10

LPDDR5X-PIM, invece, incorpora un insieme più piccolo e specializzato di unità di calcolo direttamente nella DRAM LPDDR. Entrambe le soluzioni cercano di ridurre il trasferimento dei dati verso la memoria dell’host, ma MX1 è un dispositivo server collegato tramite CXL, mentre Samsung punta a un package di memoria a basso consumo vicino a un SoC o a un sistema progettato per LPDDR. 10 13

La conclusione pratica

La presentazione di Hot Chips 2026 descrive LPDDR5X-PIM come una risposta mirata al collo di bottiglia della memoria nell’inferenza IA. I 16 blocchi di elaborazione, il parallelismo a livello di banco, gli alberi MAC e le ALU miste consentono di mantenere determinate operazioni vicino ai dati, conservando al tempo stesso un formato LPDDR5X da 16 GB e una velocità di 9.600 Mb/s per pin. 9

I risultati su Llama 3.1 8B sono interessanti, ma vanno letti come benchmark del produttore legati a uno specifico carico di lavoro. Il significato più ampio della tecnologia è strategico: Samsung sta cercando di estendere il PIM alla memoria a basso consumo per dispositivi mobili, sistemi edge, computer client e alcuni server, lasciando a HBM i carichi che richiedono davvero la massima banda general-purpose.