Samsung quiere poner la memoria de IA directamente sobre el procesador

La estrategia de Samsung para la memoria de alto ancho de banda (HBM) avanza en tres pasos. Primero, la compañía quiere trasladar al dado lógico base de la HBM funciones que hoy residen en el acelerador de IA. Después, pretende añadir monitorización, expansión de memoria y procesamiento cerca de los datos. El destino final es zHBM, una arquitectura que colocaría el procesador directamente debajo de la pila de DRAM en un encapsulado 3D real.

La advertencia clave es que las cifras más llamativas de Samsung son objetivos de una arquitectura futura, no resultados de producción demostrados. 1713

La hoja de ruta, en una mirada

Fase	Cambio arquitectónico principal	Beneficio previsto
Fase 1: cHBM	Trasladar el controlador de memoria y una interfaz die-to-die más compacta al dado lógico base de la HBM	Liberar silicio del acelerador y reducir el coste energético del movimiento de datos
Fase 2: aHBM	Añadir telemetría, controladores de expansión y elementos de procesamiento al dado base	Mejorar la gestión, la capacidad y el aprovechamiento de la memoria cerca de los datos
Fase 3: zHBM	Apilar la estructura DRAM/HBM directamente sobre el acelerador de IA	Acortar la conexión entre procesador y memoria y aumentar la densidad de interconexión vertical

La importancia de esta progresión está en el cambio de función del dado base. Deja de ser principalmente una capa de conexión y control para convertirse en un subsistema lógico cada vez más capaz, hasta integrarse físicamente con el cómputo en una estructura vertical. 182027

Fase 1: cHBM libera espacio en el acelerador

El punto de partida de Samsung es HBM4, que combina DRAM 1c con un dado lógico base fabricado en 4 nm. La compañía afirma que HBM4 puede alcanzar hasta 13 Gb/s y hasta 3.300 GB/s de ancho de banda por pila, aunque esas cifras corresponden a HBM4 y no son especificaciones de la futura zHBM. 3537

La primera fase aprovecha esa capacidad lógica para sustituir la PHY HBM convencional —la capa física de comunicación— del acelerador de IA por una interfaz die-to-die más compacta. También traslada funciones del controlador de memoria desde el acelerador al dado base de la HBM. 1720

El planteamiento ofrece dos ventajas potenciales:

• Más superficie para el acelerador: el silicio que antes ocupaban el control de memoria y la interfaz podría dedicarse a unidades de cómputo, caché o lógica específica para determinadas cargas de trabajo.
• Una ruta eléctrica más corta: al mover funciones al dado base, se puede reducir la distancia y parte de la sobrecarga de comunicación entre el acelerador y la HBM, con un posible aumento de la eficiencia energética de la interfaz. 13

Algunos informes citan una recuperación potencial de entre el 5 % y el 10 % del área del acelerador y una mejora de rendimiento del 10 % al 20 %. Sin embargo, esas cifras proceden de material de hoja de ruta publicado en informes y no deben interpretarse como un resultado universal para cualquier procesador de IA. 1729

Fase 2: aHBM convierte el dado base en un subsistema activo

En la segunda fase, Samsung quiere utilizar el espacio lógico disponible en el dado base para añadir funciones. Su concepto aHBM contempla sensores y telemetría en tiempo real para variables como la temperatura y el voltaje, además de mecanismos de fiabilidad y autodiagnóstico. Esa información podría permitir una respuesta más precisa a las condiciones de funcionamiento y mejorar la supervisión de la pila de memoria. 182728

El dado base también podría funcionar como una interfaz de expansión de memoria, conectando HBM adicional u otros tipos de memoria, como LPDDR. Así, los diseñadores de sistemas tendrían otra vía para ampliar la capacidad utilizable sin depender únicamente de la pila HBM local. 182829

Samsung ha planteado además integrar elementos de procesamiento en el dado base. No sustituirían a una GPU ni a un acelerador de propósito general. Su función sería más limitada: ejecutar determinadas operaciones con mucho movimiento de datos cerca de la memoria, reduciendo parte del tráfico dentro del encapsulado y mejorando potencialmente el aprovechamiento del sistema. 61927

Esta es la etapa de transición. La HBM seguiría situada junto al procesador en un encapsulado 2.5D, pero su dado base empezaría a comportarse como un subsistema inteligente de E/S y procesamiento.

Fase 3: zHBM apila la memoria sobre el cómputo

zHBM representa el salto más ambicioso. En un encapsulado HBM convencional, el acelerador y las pilas de HBM se colocan uno al lado de otro sobre un interposer, una capa intermedia que facilita sus conexiones. El concepto zHBM de Samsung propone situar el procesador directamente debajo de la pila de DRAM, creando una estructura de cómputo y memoria verdaderamente 3D. 3732

La disposición vertical busca acortar la ruta que recorren los datos y sustituir una interfaz concentrada en los bordes por conexiones verticales más densas y distribuidas. En teoría, esto podría permitir:

• un ancho de banda mayor gracias a una conexión mucho más amplia;
• menos consumo de E/S porque las señales recorren una distancia menor;
• una entrega de datos más eficiente para el entrenamiento y la inferencia de modelos de IA; y
• una huella lateral más reducida, al no tener que colocar la HBM alrededor del procesador. 13732

Por eso zHBM no sería simplemente una HBM “más rápida”. Cambiaría la relación física entre memoria y cómputo. El beneficio real dependerá no solo de la velocidad de la DRAM, sino también de la topología del encapsulado, el diseño de la interfaz, la distribución de energía, la refrigeración y la sensibilidad de cada carga de trabajo al movimiento de datos.

Cómo se comparan los objetivos con HBM5

Samsung y los informes que han recogido su hoja de ruta utilizan distintas referencias y métricas. Por eso las siguientes cifras deben leerse como afirmaciones separadas, no como un único benchmark directamente comparable:

• HBM5 frente a HBM4E: Samsung apunta a duplicar el rendimiento, mejorar un 20 % el rendimiento por vatio y reducir un 20 % la resistencia térmica. Los informes sitúan la producción en volumen alrededor de 2028, aunque HBM5 sigue siendo una generación de hoja de ruta y no un estándar de producción ampliamente consolidado. 4101214
• zHBM frente a HBM4E: una comparación presentada en el contexto de Hot Chips apuntó a alrededor de un 70 % menos de consumo de la DRAM y más de 2,3 veces el ancho de banda de la DRAM. 111
• Objetivos de más largo plazo para zHBM: Samsung también ha presentado metas de hasta 8 veces más rendimiento, 3 veces más rendimiento por vatio y una reducción del 75 % al 90 % de la resistencia térmica frente a HBM4E. 21314

La diferencia entre “2,3 veces más ancho de banda” y “8 veces más rendimiento” no es necesariamente contradictoria. El ancho de banda, el consumo de la DRAM, el rendimiento de una aplicación y el rendimiento por vatio son métricas diferentes y pueden basarse en configuraciones distintas. El material disponible no incluye suficiente metodología para reconciliar de forma independiente todas las cifras, de modo que deben entenderse como objetivos arquitectónicos, no como el resultado de una sola prueba. 11014

El papel de zHBM en la estrategia CUBE

Samsung describe CUBE como una estrategia basada en cuatro objetivos: Capacity (capacidad), Utilization (utilización), Bandwidth (ancho de banda) y Efficiency (eficiencia). Su argumento es que los sistemas de IA no necesitan únicamente interfaces de memoria cada vez más rápidas; también requieren colocar y utilizar la memoria de forma más inteligente en las tres dimensiones. 257

Las tres fases de HBM encajan con esos objetivos:

• Capacidad: la expansión desde el dado base podría conectar distintos niveles de memoria, mientras que el apilamiento vertical permite aumentar la densidad sin ampliar tanto la superficie lateral del encapsulado. 418
• Utilización: la telemetría, la lógica de control y el procesamiento selectivo cerca de la memoria podrían hacer más útiles la capacidad y el ancho de banda disponibles para determinadas cargas de trabajo. 1827
• Ancho de banda: las conexiones verticales directas reducen la distancia física entre el cómputo y la memoria y dejan espacio para una E/S más densa. 37
• Eficiencia: reducir el movimiento de datos y la sobrecarga de la interfaz podría disminuir el consumo, mientras que una mejor supervisión térmica ayudaría a operar más cerca de los límites del sistema. 1511

En ese sentido, zHBM es la expresión más clara del enfoque de Samsung hacia la memoria en el eje Z: construir hacia arriba para aumentar la densidad útil y reducir la distancia de comunicación, en lugar de seguir ampliando un encapsulado 2.5D en horizontal. 713

Los problemas de ingeniería que aún quedan por resolver

Refrigeración y temperatura

Colocar un procesador de alto consumo debajo de una pila de DRAM dificulta la evacuación del calor. El dado de cómputo queda más lejos de la ruta de refrigeración, mientras que la DRAM debe mantenerse dentro de un margen térmico relativamente limitado.

Por eso, la reducción de la resistencia térmica anunciada por Samsung es un objetivo de diseño, no un beneficio automático del apilamiento 3D. La empresa y sus socios de fabricación tendrán que demostrar que el rendimiento, la fiabilidad de la memoria y las necesidades de refrigeración pueden coexistir en un encapsulado de producción. 1419

Unión, alineación y rendimiento de fabricación

Una estructura 3D directa exige una unión y una alineación extremadamente precisas en interfaces de gran tamaño. El adelgazamiento de obleas, la integración de TSV, el control de la deformación, la gestión de defectos y la unión con altos rendimientos adquieren mayor importancia cuando el procesador y la memoria quedan físicamente integrados.

Un defecto en cualquiera de los dos lados puede comprometer el valor del conjunto completo. Esto aumenta la relevancia de las pruebas de dados conocidos como buenos, los mecanismos de reparación y el acceso a pruebas antes y después de la unión. La propia hoja de ruta de Samsung apunta a ampliar las funciones de fiabilidad y autodiagnóstico del dado base, una señal de lo estrechamente vinculados que estarán el encapsulado y las pruebas con la arquitectura. 2728

Alimentación y calidad de señal

Una interfaz vertical muy ancha necesita una alimentación estable, sincronización, control del reloj y gestión del ruido. Un ancho de banda teórico más elevado no garantiza un mayor rendimiento de las aplicaciones si la integridad eléctrica, la limitación térmica o la calidad de la señal impiden mantener la operación a plena velocidad.

Altura de la pila y restricciones mecánicas

Añadir más estructura vertical puede aumentar el grosor del encapsulado, la tensión mecánica y la complejidad de la ruta de refrigeración. El diseño final tendrá que equilibrar capacidad y ancho de banda con la altura, la deformación, la fabricación y los límites del sustrato y de la placa del sistema.

Diseño conjunto del procesador y la memoria

La HBM convencional puede integrarse como un componente de memoria relativamente modular. En cambio, aHBM y, sobre todo, zHBM exigen coordinar con mayor precisión el acelerador, la lógica del dado base, el encapsulado, el firmware, el entorno de ejecución y el software.

Las interfaces, la distribución del control, la coherencia, la gestión de fallos y las operaciones cerca de la memoria deberán diseñarse de forma conjunta. Esto puede mejorar la especialización, pero también hacer que el sistema resultante sea menos intercambiable que las plataformas basadas en HBM convencional.

Calendario comercial y adopción del ecosistema

zHBM sigue siendo un concepto de futuro. Los informes sitúan su comercialización después de 2029, pero el calendario y las cifras de rendimiento dependerán de la madurez del encapsulado, la adopción por parte de clientes, los estándares, el rendimiento de fabricación y el coste. 8914

La conclusión práctica

La hoja de ruta de Samsung puede entenderse como una transferencia gradual de inteligencia hacia la pila de memoria:

1. cHBM se centra en recuperar superficie del acelerador y descargar en la HBM parte del trabajo de control e interfaz.
2. aHBM convierte el dado base en un subsistema de memoria monitorizado, ampliable y parcialmente programable.
3. zHBM fusiona físicamente cómputo y memoria al colocar el procesador debajo de la DRAM.

La recompensa potencial es considerable: menos consumo de E/S, más silicio disponible para el acelerador, mayor densidad de ancho de banda y mejor rendimiento por vatio. Pero la fase final también desplaza los retos más difíciles desde el diseño de la interfaz de memoria hacia la gestión térmica, la unión de chips, el rendimiento de fabricación, las pruebas y el diseño conjunto del sistema.

Por ahora, zHBM es una dirección ambiciosa respaldada por objetivos de Samsung, no una prueba de que un encapsulado 3D de IA ya pueda cumplir esas promesas en producción.