LPDDR5X-PIM : Samsung rapproche le calcul de la mémoire pour accélérer l’inférence IA

Samsung a profité de Hot Chips 2026 pour détailler sa LPDDR5X-PIM, une mémoire DRAM basse consommation capable d’effectuer certaines opérations directement à proximité de ses cellules mémoire. L’objectif est de réduire les allers-retours entre la mémoire et le processeur, un goulet d’étranglement fréquent lors de l’inférence de grands modèles de langage.

Dans une configuration de 16 Go, Samsung intègre 16 blocs de traitement en mémoire, des arbres de produits-accumulations et des unités arithmétiques capables de manipuler des données en virgule flottante ou entières. Sur un SoC destiné à l’IA en périphérie et exécutant Llama 3.1 8B, l’entreprise revendique un temps d’inférence réduit de 2,28 fois et un débit de tokens multiplié par 3,01. Ces chiffres restent toutefois des résultats communiqués par Samsung, et non ceux d’une évaluation indépendante à grande échelle. 1 9

Le problème ciblé : déplacer moins de données

Lorsqu’un modèle d’IA est exécuté, ses poids et ses données intermédiaires circulent constamment entre la DRAM et le processeur. Pour les opérations répétitives de type produit matrice-vecteur, ou GEMV, le temps et l’énergie consacrés au déplacement des opérandes peuvent devenir aussi importants que le calcul lui-même.

Le traitement en mémoire — ou Processing-in-Memory (PIM) — consiste à déplacer une partie de ces calculs vers la mémoire. Les opérations prises en charge sont alors réalisées au plus près des banques DRAM, plutôt que de faire transiter chaque donnée par l’interface mémoire externe. Samsung présente la LPDDR5X-PIM comme sa première solution PIM fondée sur une mémoire LPDDR destinée à l’inférence IA. 2 9 13

16 blocs de calcul dans un boîtier de quatre dies

La configuration annoncée repose sur un boîtier LPDDR5X de 16 Go composé de quatre dies, au format JEDEC de 561 broches, avec un débit de 9 600 Mb/s par broche. Les quatre dies partagent les signaux de commande et d’adresse, tout en disposant de lignes de données distinctes, conformément à l’organisation parallèle des systèmes LPDDR. 9 17

Les 16 blocs PIM sont répartis au niveau des banques DRAM. Chacun associe deux types de circuits :

• Des arbres MAC, qui prennent en charge les opérations de multiplication-accumulation et leur réduction, essentielles aux calculs GEMV et à d’autres opérations matricielles.
• Des unités arithmétiques flottantes et entières, utilisées pour les calculs élément par élément et les traitements complémentaires.

Cette organisation hétérogène permet de traiter plusieurs types de calculs, plutôt que de se limiter à une opération simple sur un seul format numérique. Des travaux antérieurs de Samsung décrivaient déjà des unités SIMD en virgule flottante et un placement des unités PIM au niveau des banques, illustrant cette volonté de rapprocher le calcul des données. 9 11

614 Go/s : une bande passante interne, pas une nouvelle interface LPDDR

Samsung annonce jusqu’à 614 Go/s de bande passante PIM agrégée interne. Ce chiffre ne correspond pas à la bande passante disponible entre le boîtier et le processeur via une interface LPDDR5X classique. Il mesure le travail effectué en parallèle à l’intérieur de la mémoire, entre plusieurs banques et blocs de calcul. 1

Dans la comparaison présentée par Samsung, cette bande passante interne est environ huit fois supérieure à celle de la LPDDR5X conventionnelle utilisée comme référence. Il faut donc éviter une interprétation trompeuse : la LPDDR5X-PIM ne transforme pas l’interface externe en liaison de 614 Go/s. Elle expose cette capacité uniquement aux opérations prises en charge à l’intérieur de la mémoire.

Address Align Mode : organiser les données pour exploiter les banques

Le mode Address Align Mode joue un rôle central dans l’architecture. Les opérandes correspondants sont placés à des adresses alignées dans les banques participantes. Une commande PIM commune peut ainsi déclencher la même opération en parallèle dans plusieurs banques.

Cette méthode tire parti du fonctionnement des quatre dies d’un même rang LPDDR : ils reçoivent les mêmes commandes et adresses, tout en conservant des chemins de données séparés. La mémoire peut donc exécuter des opérations parallèles sans devenir pour autant un unique canal externe très large. 17

Samsung décrit deux modes d’utilisation :

• Le mode mono-banque, plus précis, laisse davantage de possibilités aux accès DRAM classiques de se poursuivre en parallèle.
• Le mode multi-banques, qui active plusieurs blocs PIM simultanément, augmente le parallélisme interne et la bande passante pour les noyaux de calcul adaptés.

Le compromis dépend du logiciel et de la charge de travail. Participer à davantage de banques peut améliorer le débit, mais réduit temporairement le nombre de banques disponibles pour les accès mémoire ordinaires. La LPDDR5X-PIM ne fonctionne donc pas comme un accélérateur transparent : le placement des tenseurs, les noyaux exécutés et la structure en banques doivent être pris en compte par les logiciels.

Les résultats revendiqués sur Llama 3.1 8B

Sur un SoC d’IA edge exécutant Llama 3.1 8B, Samsung compare sa solution à une LPDDR5X conventionnelle et annonce :

• 2,28 fois moins de temps d’inférence ;
• 3,01 fois plus de tokens traités ;
• Jusqu’à 614 Go/s de bande passante PIM interne, contre environ 76,8 Go/s pour la référence conventionnelle rapportée dans la présentation.

Ces résultats décrivent une configuration de test précise, et non un multiplicateur garanti pour tous les modèles. Les gains réels dépendront notamment de la précision numérique, de la taille des lots, de la capacité mémoire, du placement des tenseurs, du support logiciel et de la proportion d’opérations de type GEMV dans l’inférence.

Samsung présente également la réduction des transferts entre la mémoire et le SoC comme un moyen de diminuer la consommation. Les éléments disponibles ne fournissent toutefois pas de mesure indépendante comparable en watts par inférence ou en joules par token. L’avantage énergétique doit donc être considéré comme un objectif architectural et un bénéfice attendu pour certaines charges, plutôt que comme une réduction chiffrée et vérifiée.

LPDDR5X-PIM face à la HBM

La HBM reste mieux adaptée aux accélérateurs qui ont besoin d’une bande passante externe maximale, notamment pour l’entraînement de modèles à grande échelle et les infrastructures de centres de données. Elle repose cependant sur de la DRAM empilée, des vias traversants, un packaging avancé et des contraintes importantes en matière de surface et de dissipation thermique. À Hot Chips, Micron a indiqué que l’écart de surface de wafer entre la HBM et la DDR5 continuait de se creuser, avec environ trois fois plus de surface de wafer nécessaire pour une capacité équivalente dans sa comparaison.

Samsung fait un choix différent : conserver le format d’une mémoire LPDDR basse consommation et lui ajouter une capacité de calcul limitée, directement au niveau des banques. La solution ne peut pas rivaliser avec la HBM en bande passante générale pour les accélérateurs, mais elle peut être intéressante lorsque le principal frein est le déplacement des données pendant l’inférence, plutôt que la puissance de calcul en virgule flottante.

Les usages envisagés sont donc différenciés :

• Appareils mobiles et PC clients : exécuter localement des modèles d’IA sous des contraintes strictes de batterie et de température.
• Systèmes edge : augmenter le débit d’inférence sans ajouter d’accélérateur discret équipé de HBM.
• Serveurs : accélérer des charges d’inférence ou de traitement de données limitées par les mouvements en mémoire, lorsque le coût et la complexité de la HBM seraient difficiles à justifier.

La description la plus juste est celle d’un complément ou d’une alternative plus économique à la HBM pour certaines charges d’inférence, et non d’un remplacement universel.

De FMS 2026 à Hot Chips : une étape vers la standardisation

Samsung avait déjà présenté la LPDDR5X-PIM à FMS 2026. La session de Hot Chips a apporté davantage de détails sur l’architecture et les résultats de performance ; le programme de la conférence recensait une présentation dédiée au PIM basé sur LPDDR pour l’inférence IA. 9 13

Cette trajectoire vise à rendre le traitement en mémoire plus facile à déployer dans des systèmes basse consommation, plutôt que de le cantonner à des expérimentations spécialisées avec de la HBM. Samsung évoque également une évolution vers la LPDDR6-PIM et un alignement avec les standards JEDEC. Les informations disponibles ne permettent toutefois pas d’affirmer qu’une spécification JEDEC définitive a été ratifiée, ni d’en préciser la date.

DeepX a de son côté indiqué vouloir utiliser la LPDDR5X-PIM de Samsung dans sa puce DX-M2 de deuxième génération et viser la LPDDR6-PIM pour une future puce DX-M3. 15

Une technologie différente de la mémoire CXL d’XCENA

La présentation de Samsung se tenait dans la même session mémoire que celle consacrée au MX1 d’XCENA, mais les deux solutions ne se situent pas au même niveau du système.

Le MX1 d’XCENA est un périphérique de mémoire informatique au format CXL Type 3, destiné aux infrastructures en rack. Il associe jusqu’à 2 To de capacité DDR5, une capacité soutenue par SSD et plus de 1 000 cœurs RISC-V pour réaliser des traitements au plus près de la mémoire. 4 10

La LPDDR5X-PIM, elle, intègre un nombre réduit d’unités de calcul spécialisées directement dans une mémoire LPDDR. Les deux approches cherchent à limiter les transferts vers le processeur hôte, mais le MX1 est un dispositif serveur connecté en CXL, tandis que la solution de Samsung est un boîtier mémoire basse consommation conçu pour se trouver près d’un SoC ou dans un système utilisant une interface de type LPDDR.

À retenir

La présentation de Hot Chips 2026 positionne la LPDDR5X-PIM comme une réponse ciblée au mur mémoire de l’inférence IA. Ses 16 blocs de traitement, son parallélisme au niveau des banques, ses arbres MAC et ses unités arithmétiques mixtes permettent de conserver certaines opérations près des données, tout en conservant un format LPDDR5X et un débit de 9 600 Mb/s par broche. 9

Les résultats obtenus avec Llama 3.1 8B sont encourageants, mais doivent être lus comme des benchmarks propres à Samsung. L’enjeu principal est stratégique : étendre le PIM à une mémoire basse consommation susceptible d’équiper des appareils mobiles, des PC, des systèmes edge et certains serveurs, tout en laissant la HBM aux charges qui nécessitent réellement sa bande passante générale beaucoup plus élevée.