La feuille de route HBM de Samsung en trois étapes, jusqu’à la mémoire 3D zHBM

Samsung veut faire évoluer la mémoire HBM bien au-delà d’une simple hausse de débit. Sa feuille de route suit trois étapes : déplacer d’abord certaines fonctions de contrôle dans la puce logique de base de la HBM, lui ajouter ensuite des capacités de supervision, d’extension et de calcul, puis placer directement le processeur d’intelligence artificielle sous la pile de DRAM dans un boîtier 3D. La destination annoncée est le zHBM, mais ses chiffres de performance restent des objectifs architecturaux pour une génération future, et non des résultats de production démontrés. 1713

La feuille de route en un coup d’œil

Phase	Évolution architecturale	Bénéfice recherché
Phase 1 : cHBM	Déplacement du contrôleur mémoire et d’une interface plus compacte vers la puce logique de base HBM	Libérer de la surface dans l’accélérateur et réduire le coût énergétique des échanges
Phase 2 : aHBM	Ajout de télémétrie, de contrôleurs d’extension mémoire et de certains éléments de calcul	Améliorer la gestion, la capacité et l’utilisation de la mémoire au plus près des données
Phase 3 : zHBM	Superposition directe de la structure HBM/DRAM au-dessus de l’accélérateur d’IA	Raccourcir le chemin entre calcul et mémoire et densifier les connexions verticales

L’enjeu est le changement de rôle de la puce de base. Dans une HBM classique, cette couche sert principalement au contrôle et aux connexions. Elle deviendrait progressivement un véritable sous-système logique, avant de s’intégrer à une architecture de calcul et de mémoire organisée verticalement. 182027

Phase 1 : la cHBM libère de l’espace dans l’accélérateur

Le point de départ est la HBM4 de Samsung, qui associe une DRAM 1c à une puce logique de base gravée en 4 nm. Samsung annonce jusqu’à 13 Gbit/s et jusqu’à 3 300 Go/s de bande passante par pile, mais ces données concernent la HBM4 et ne constituent pas les spécifications du futur zHBM. 3537

La première phase consiste à remplacer le PHY HBM traditionnel — la couche physique d’interface — de l’accélérateur d’IA par une interface puce-à-puce plus compacte. Samsung prévoit également de transférer le contrôleur mémoire de l’accélérateur vers la puce de base HBM. 1720

Deux bénéfices sont recherchés :

• Davantage de surface pour l’accélérateur : le silicium consacré au contrôle mémoire et à l’interface pourrait être réaffecté au calcul, au cache ou à des circuits spécialisés.
• Un trajet électrique plus court : le déplacement de ces fonctions vers la puce de base pourrait réduire la distance et la surcharge liées aux communications entre l’accélérateur et la HBM, avec à la clé une meilleure efficacité énergétique de l’interface. 13

Certains documents et articles évoquent une récupération possible de 5 à 10 % de la surface de l’accélérateur et une amélioration de 10 à 20 % des performances. Ces chiffres proviennent toutefois d’éléments de feuille de route rapportés et ne doivent pas être considérés comme un résultat garanti pour chaque processeur d’IA. 1729

Phase 2 : l’aHBM transforme la puce de base en sous-système actif

La deuxième phase exploite la surface libérée dans la puce de base. Le concept aHBM prévoit des capteurs et une télémétrie en temps réel pour surveiller notamment la température et la tension, ainsi que des fonctions de fiabilité et d’autotest. Le système pourrait ainsi adapter plus finement son fonctionnement aux conditions réelles et mieux surveiller l’état de la pile mémoire. 182728

La puce de base pourrait également servir d’interface d’extension mémoire en connectant de la HBM supplémentaire ou d’autres types de mémoire, comme la LPDDR. Les concepteurs de systèmes disposeraient ainsi d’un moyen supplémentaire d’augmenter la capacité utilisable sans dépendre uniquement de la pile HBM locale. 182829

Samsung envisage aussi d’y intégrer des éléments de calcul. Il ne s’agirait pas de remplacer un GPU ou un accélérateur généraliste, mais de prendre en charge certaines opérations très dépendantes de la mémoire, au plus près des données. Cette approche pourrait réduire une partie du trafic dans le boîtier et améliorer l’utilisation effective de la mémoire. 61927

Cette phase est une transition : la HBM reste placée à côté du processeur dans un boîtier 2,5D, mais sa puce de base commence à fonctionner comme un sous-système intelligent d’entrées-sorties et de calcul.

Phase 3 : le zHBM superpose la mémoire au calcul

Le zHBM constitue l’étape la plus ambitieuse. Dans un boîtier HBM conventionnel, le processeur et les piles de mémoire sont disposés côte à côte sur un interposeur. Le concept de Samsung placerait au contraire le processeur directement sous la pile de DRAM, formant une véritable structure 3D calcul-mémoire. 3732

Cette organisation verticale vise à raccourcir le trajet parcouru par les données et à remplacer une interface concentrée sur les bords par des connexions verticales plus nombreuses et réparties sur la surface de la puce. En théorie, elle pourrait permettre :

• une bande passante supérieure grâce à une liaison beaucoup plus large ;
• une consommation moindre des entrées-sorties, les signaux parcourant une distance plus courte ;
• une alimentation plus efficace des données pour l’entraînement et l’inférence des modèles d’IA ;
• une empreinte latérale réduite, puisque les piles HBM n’auraient plus besoin d’être installées autour du processeur. 13732

Le zHBM n’est donc pas seulement une HBM « plus rapide ». Il modifie la relation physique entre la mémoire et le calcul. Le bénéfice réel dépendrait aussi de la topologie du boîtier, de la conception de l’interface, de la distribution électrique, du refroidissement et de la sensibilité des charges de travail aux déplacements de données.

HBM5 et zHBM : des chiffres à comparer avec prudence

Samsung et les sources qui rapportent sa feuille de route utilisent plusieurs références et plusieurs indicateurs. Ces chiffres doivent donc être lus comme des objectifs distincts, et non comme les résultats d’un unique banc d’essai comparable :

• HBM5 face à la HBM4E : Samsung vise des performances multipliées par deux, une amélioration de 20 % des performances par watt et une baisse de 20 % de la résistance thermique. Des articles situent la production de masse autour de 2028, mais la HBM5 reste une génération de feuille de route, et non un standard de production largement établi. 4101214
• zHBM face à la HBM4E : une comparaison présentée dans le contexte de Hot Chips évoque environ 70 % de puissance DRAM en moins et une bande passante DRAM supérieure à 2,3 fois celle de la HBM4E. 111
• Objectifs de long terme du zHBM : Samsung a également présenté des cibles allant jusqu’à huit fois les performances, trois fois les performances par watt et une réduction de 75 à 90 % de la résistance thermique par rapport à la HBM4E. 21314

L’écart entre « 2,3 fois plus de bande passante » et « huit fois plus de performances » n’est pas nécessairement contradictoire. La bande passante, la puissance de la DRAM, les performances d’une application et les performances par watt sont des mesures différentes, potentiellement établies avec des configurations et des références distinctes. Les informations disponibles ne fournissent pas une méthodologie suffisante pour réconcilier indépendamment chaque chiffre. Il faut donc les considérer comme des objectifs d’architecture, pas comme les résultats d’un même benchmark. 11014

Le rôle du zHBM dans la stratégie CUBE de Samsung

Samsung présente CUBE comme une stratégie articulée autour de quatre axes : Capacity (capacité), Utilization (utilisation), Bandwidth (bande passante) et Efficiency (efficacité). Selon l’entreprise, les systèmes d’IA ont besoin de davantage qu’interfaces mémoire toujours plus rapides : la mémoire doit aussi être placée et exploitée plus intelligemment dans l’espace. 257

Les trois phases HBM correspondent à ces priorités :

• Capacité : l’extension mémoire via la puce de base pourrait connecter d’autres niveaux de mémoire, tandis que la superposition verticale augmenterait la densité sans agrandir autant le boîtier sur le plan horizontal. 418
• Utilisation : la télémétrie, la logique de contrôle et le calcul sélectif au plus près de la mémoire pourraient rendre la capacité et la bande passante existantes plus utiles pour certaines charges de travail. 1827
• Bande passante : les connexions verticales directes réduisent la distance entre calcul et mémoire et permettent des entrées-sorties plus denses. 37
• Efficacité : la diminution des déplacements de données et de la surcharge d’interface pourrait réduire la consommation, tandis qu’une meilleure surveillance thermique aiderait à exploiter davantage les marges du système. 1511

Le zHBM est ainsi l’expression la plus nette de l’approche de Samsung en matière de mémoire sur l’axe Z : construire vers le haut pour augmenter la densité utile et raccourcir les communications, plutôt que continuer à élargir un boîtier 2,5D où mémoire et processeur sont côte à côte. 713

Les problèmes techniques restent considérables

La gestion thermique

Placer un processeur très énergivore sous une pile de DRAM complique l’évacuation de la chaleur : la puce de calcul est plus éloignée du système de refroidissement, tandis que la DRAM doit rester dans une plage thermique relativement limitée. La réduction annoncée de la résistance thermique est donc un objectif de conception, et non un avantage automatique de l’empilement 3D. Samsung et ses partenaires industriels devront démontrer qu’ils peuvent faire coexister performances, fiabilité mémoire et refroidissement dans un boîtier de série. 1419

L’assemblage, l’alignement et le rendement

Une structure 3D directe exige un assemblage et un alignement extrêmement précis sur de grandes surfaces. L’amincissement des tranches, l’intégration des TSV, le contrôle du gauchissement, la gestion des défauts et l’assemblage à haut rendement deviennent encore plus critiques lorsque le processeur et la mémoire sont physiquement réunis. Un défaut sur l’un ou l’autre élément peut affecter la valeur de l’ensemble, ce qui renforce l’importance des puces testées comme bonnes, des mécanismes de réparation et de l’accès aux tests après assemblage. La feuille de route de Samsung prévoit déjà davantage de fonctions de fiabilité et d’autotest dans la puce de base, signe que le conditionnement et les tests sont indissociables de l’architecture. 2728

L’alimentation et l’intégrité du signal

Même une interface verticale très large doit disposer d’une alimentation stable, d’un cadencement précis et d’un contrôle efficace du bruit. Une bande passante théorique élevée ne garantit pas de meilleures performances applicatives si l’intégrité électrique, la limitation thermique ou la qualité du signal empêchent un fonctionnement soutenu.

La hauteur de la pile et les contraintes mécaniques

L’ajout de structures verticales peut augmenter l’épaisseur du boîtier, les contraintes mécaniques et la complexité du chemin de refroidissement. La conception finale devra arbitrer entre capacité et bande passante, d’une part, et hauteur, gauchissement, fabricabilité ainsi que contraintes du substrat et de la carte mère, d’autre part.

Une co-conception étroite entre processeur et mémoire

La HBM standard peut être intégrée comme un composant mémoire relativement modulaire. L’aHBM, et plus encore le zHBM, exigent une coordination beaucoup plus étroite entre l’accélérateur, la logique de la puce de base, le boîtier, le micrologiciel, l’environnement d’exécution et les logiciels. Les interfaces, la répartition du contrôle, la cohérence, la gestion des pannes et les opérations au plus près de la mémoire devront être conçues ensemble. Cette spécialisation peut améliorer l’efficacité, mais elle risque aussi de rendre les systèmes moins interchangeables que les architectures fondées sur une HBM conventionnelle.

Le calendrier industriel et l’adoption par l’écosystème

Le zHBM reste un concept destiné au futur, et certains articles situent sa commercialisation après 2029. Le calendrier et les chiffres de performance dépendront de la maturité du conditionnement avancé, de l’adoption par les clients, des standards, du rendement de fabrication et du coût final. 8914

À retenir

La feuille de route de Samsung peut se résumer comme un transfert progressif de l’intelligence vers la pile mémoire :

1. La cHBM vise principalement à récupérer de la surface dans l’accélérateur et à lui retirer une partie du contrôle et de l’interface mémoire.
2. L’aHBM transforme la puce de base en sous-système mémoire supervisé, extensible et capable d’exécuter certaines opérations ciblées.
3. Le zHBM fusionne physiquement calcul et mémoire en plaçant le processeur sous la pile de DRAM.

Le gain potentiel est important : moins d’énergie consacrée aux entrées-sorties, davantage de silicium disponible pour le calcul, une bande passante plus dense et une meilleure efficacité par watt. Mais la dernière étape déplace aussi les difficultés majeures vers la thermique, l’assemblage, le rendement, les tests et la co-conception du système. Pour l’instant, le zHBM est une direction ambitieuse soutenue par des objectifs annoncés, et non encore la preuve qu’un boîtier 3D d’IA produit en volume pourra effectivement les atteindre.