Samsung lleva la IA dentro de la memoria LPDDR5X con hasta 614 GB/s internos

Samsung aprovechó Hot Chips 2026 para explicar cómo su memoria LPDDR5X-PIM incorpora capacidad de procesamiento directamente en la DRAM de bajo consumo. La idea es sencilla en concepto, aunque compleja en implementación: ejecutar determinadas operaciones de inteligencia artificial cerca de los datos, en lugar de trasladar constantemente pesos y resultados intermedios entre la memoria y el procesador.

En una prueba de inferencia con Llama 3.1 8B sobre un SoC de IA para dispositivos de borde, Samsung reportó una reducción de 2,28 veces en el tiempo de inferencia y un aumento de 3,01 veces en el rendimiento de tokens. Son cifras comunicadas por Samsung para una configuración concreta, no una evaluación independiente y general de la tecnología. 1 9

El problema que intenta resolver la LPDDR5X-PIM

En muchos modelos de lenguaje, especialmente durante la generación de tokens, el cuello de botella no es únicamente la capacidad de cálculo. El sistema también debe mover continuamente pesos del modelo, activaciones y resultados intermedios entre la DRAM y el procesador.

La tecnología Processing-in-Memory (PIM) aborda ese problema colocando lógica de cálculo junto a los bancos de memoria. Así, algunas operaciones se ejecutan dentro de la propia memoria y no necesitan cruzar repetidamente la interfaz externa. Samsung describe la LPDDR5X-PIM como su primera solución PIM basada en LPDDR para inferencia de IA. 2 9 13

El enfoque resulta especialmente adecuado para operaciones repetitivas de tipo matriz-vector, conocidas como GEMV, en las que el coste de mover los datos puede ser tan importante como el de realizar las multiplicaciones y sumas.

16 bloques PIM en un paquete de cuatro chips

La configuración presentada por Samsung utiliza un paquete LPDDR5X de 16 GB, formado por cuatro chips y con un encapsulado de estilo JEDEC de 561 bolas. Opera a 9.600 Mb/s por pin. Los cuatro chips comparten las señales de comando y dirección, pero emplean líneas de datos separadas, una organización coherente con la arquitectura paralela de LPDDR5. 9 17

En el interior del paquete hay 16 bloques de procesamiento PIM, distribuidos entre los bancos de la DRAM. Cada bloque combina dos tipos principales de hardware:

• Árboles MAC, que realizan las operaciones de multiplicación y acumulación necesarias para GEMV y otros cálculos matriciales.
• Unidades ALU de coma flotante y de enteros, destinadas a operaciones elemento a elemento y otros cálculos de apoyo.

Esta combinación heterogénea permite trabajar con más que una única clase de operación o tipo de dato. Materiales anteriores de Samsung sobre PIM también describen unidades SIMD de coma flotante y la colocación de los bloques PIM a nivel de banco, siguiendo la misma filosofía de acercar el cálculo a los datos. 9 11

Qué significa realmente la cifra de 614 GB/s

Samsung anunció hasta 614 GB/s de ancho de banda PIM interno agregado. Esta cifra no representa el ancho de banda externo disponible para un procesador conectado a través de una interfaz LPDDR5X convencional. Se refiere al trabajo paralelo que pueden realizar los bancos y bloques de procesamiento dentro del paquete. 1

En la comparación de Samsung, el ancho de banda interno de PIM es aproximadamente ocho veces superior al de la LPDDR5X convencional utilizada como referencia. La diferencia clave es que esos 614 GB/s están disponibles para operaciones compatibles ejecutadas dentro de la memoria; no convierten la interfaz externa LPDDR en un enlace de 614 GB/s.

Address Align Mode: preparar los datos para el paralelismo

Una pieza importante del diseño es Address Align Mode, o modo de alineación de direcciones. Los operandos correspondientes se colocan en direcciones coincidentes en los bancos que participan en la operación. De ese modo, un comando PIM común puede activar el mismo cálculo en paralelo.

Este mecanismo aprovecha que los cuatro chips de un rango LPDDR reciben las mismas señales de comando y dirección, aunque mantienen rutas de datos independientes. La disposición permite ejecutar trabajo simultáneo sin convertir el paquete en un único canal externo convencional de gran anchura. 17

Samsung describió dos formas de funcionamiento:

• Operación de un solo banco: ofrece un control más preciso y deja más margen para que el tráfico DRAM convencional continúe en otros bancos.
• Operación multibanco: activa más bloques PIM al mismo tiempo, aumentando el paralelismo interno y el ancho de banda en los kernels adecuados.

El intercambio es claro: utilizar más bancos puede elevar el rendimiento de PIM, pero reduce temporalmente los bancos disponibles para los accesos DRAM normales. Por eso, la tecnología no funciona como un acelerador completamente transparente. El software debe tener en cuenta la distribución de los bancos, la disposición de los tensores y los kernels que se ejecutarán.

Resultados con Llama 3.1 8B

En un SoC de IA para dispositivos de borde que ejecutaba inferencia con Llama 3.1 8B, Samsung comunicó estos resultados frente a una LPDDR5X convencional:

• 2,28 veces menos tiempo de inferencia.
• 3,01 veces más rendimiento de tokens.
• Hasta 614 GB/s de ancho de banda PIM interno, frente a unos 76,8 GB/s de la referencia convencional presentada.

Estos resultados corresponden a una prueba concreta de Samsung y no deben interpretarse como un multiplicador universal de rendimiento. El beneficio real dependerá de la precisión del modelo, la cuantización, el tamaño del lote, la capacidad de memoria, la colocación de los tensores, el soporte del software y la proporción de trabajo compuesta por operaciones similares a GEMV.

Samsung también presentó la reducción del movimiento de datos entre la memoria y el SoC como una vía para disminuir el consumo energético. Sin embargo, el material disponible no aporta una cifra independiente y comparable de vatios por inferencia o julios por token. La ventaja energética debe entenderse, por tanto, como un objetivo arquitectónico y un beneficio esperado en cargas adecuadas, no como un porcentaje de ahorro ya verificado.

LPDDR5X-PIM frente a HBM

La HBM sigue siendo la opción más potente cuando un acelerador necesita el máximo ancho de banda externo, sobre todo en entrenamiento y en cargas de centros de datos de alta gama. Su rendimiento se basa en DRAM apilada, vías a través del silicio, encapsulados avanzados y mayores exigencias de superficie, energía y refrigeración. En Hot Chips, Micron afirmó que la penalización de superficie de oblea de HBM frente a DDR5 se está ampliando; en su comparación, una implementación HBM de igual capacidad requiere aproximadamente tres veces más superficie de oblea.

Samsung plantea un compromiso distinto. La LPDDR5X-PIM conserva el formato de una memoria DRAM de bajo consumo y añade una capacidad de cálculo especializada junto a los bancos. No puede ofrecer el ancho de banda generalista de una memoria HBM conectada a un acelerador de alto rendimiento, pero puede resultar atractiva cuando el problema principal es mover datos durante la inferencia, no alcanzar el máximo de operaciones en coma flotante.

El público objetivo sería, por tanto, más específico:

• Móviles y equipos cliente: inferencia local con límites estrictos de batería, temperatura y espacio.
• Sistemas de borde: procesamiento local sin necesidad de un acelerador discreto basado en HBM.
• Servidores: inferencia y tareas de procesamiento de datos limitadas por el movimiento de memoria, donde el coste y la complejidad de HBM no estén justificados.

La descripción más precisa es que LPDDR5X-PIM podría complementar a HBM o servir como alternativa más sensible al coste en determinadas cargas de inferencia. No es un reemplazo universal.

Del anuncio de FMS a Hot Chips

Samsung ya había mostrado la LPDDR5X-PIM en FMS 2026. La presentación de Hot Chips añadió una explicación arquitectónica más detallada y datos de rendimiento sobre la inferencia; el programa de la conferencia incluyó una sesión específica de memoria dedicada a la solución PIM basada en LPDDR para IA. 9 13

La dirección estratégica de Samsung consiste en llevar el procesamiento en memoria desde demostraciones especializadas, especialmente en entornos HBM, hacia una memoria de bajo consumo potencialmente más fácil de integrar en distintos sistemas. La compañía también ha vinculado su hoja de ruta futura a una posible LPDDR6-PIM estandarizada, aunque las pruebas disponibles no confirman una especificación JEDEC final ni una fecha de ratificación.

DeepX, por su parte, ha dicho que planea utilizar la LPDDR5X-PIM de Samsung en su chip de IA de segunda generación, DX-M2, y que apunta a LPDDR6-PIM para una generación posterior, el DX-M3. 15

No es lo mismo que XCENA MX1

La presentación de Samsung compartió sesión de memoria con XCENA MX1, pero ambas tecnologías operan a niveles diferentes del sistema.

MX1 es un dispositivo de memoria computacional CXL Type 3 orientado a infraestructuras de servidores a escala de rack. Combina hasta 2 TB de capacidad DDR5, capacidad respaldada por SSD y más de 1.000 núcleos RISC-V para procesamiento cercano a la memoria. 4 10

La LPDDR5X-PIM, en cambio, integra un conjunto más reducido de unidades especializadas directamente en la DRAM LPDDR. Ambas propuestas intentan reducir el movimiento de datos entre el procesador y la memoria, pero MX1 es un dispositivo CXL conectado al sistema, mientras que la solución de Samsung es un paquete de memoria de bajo consumo pensado para situarse junto a un SoC u otra plataforma compatible con LPDDR.

La conclusión práctica

La presentación de Hot Chips 2026 sitúa a la LPDDR5X-PIM como una respuesta específica al cuello de botella de memoria en la inferencia de IA. Sus 16 bloques de procesamiento, el paralelismo a nivel de banco, los árboles MAC y las ALU para datos de coma flotante y enteros permiten mantener ciertas operaciones cerca de los datos, dentro de un paquete LPDDR5X de 16 GB que funciona a 9.600 Mb/s por pin. 9

Las cifras de Llama 3.1 8B son llamativas, pero deben leerse como resultados de un benchmark del fabricante y dependientes de la carga de trabajo. La importancia de la tecnología está en su estrategia: ampliar el procesamiento en memoria hacia una DRAM de bajo consumo que pueda servir para sistemas móviles, de borde, equipos cliente y algunos servidores, mientras la HBM conserva su papel en las cargas que realmente necesitan un ancho de banda generalista mucho mayor.