Las especificaciones anunciadas incluyen:
El diseño CBA permite mejorar la eficiencia energética y contribuye al aumento de densidad. La memoria está orientada principalmente a SSD de alta capacidad para centros de datos, almacenamiento en la nube y cargas de trabajo relacionadas con la IA .
La demostración de FMS se produjo después de que Kioxia y Sandisk comenzaran a enviar muestras de su NAND TLC BiCS10 de 1 Tb. Esa variante de tres bits por celda también utiliza 332 capas, aunque alcanza una densidad superior a 29 Gb/mm² . La versión QLC presentada en la conferencia almacena cuatro bits por celda, lo que permite dar un paso adicional en capacidad por superficie.
El segundo gran anuncio llegó de Sandisk y SK hynix, que publicaron la primera especificación técnica de High Bandwidth Flash (HBF) a través del Open Compute Project (OCP) . El OCP es una iniciativa de especificaciones abiertas para infraestructura de centros de datos, por lo que el documento puede servir como base común para que distintos fabricantes diseñen aceleradores y sistemas compatibles.
HBF pretende ocupar el espacio intermedio entre la High Bandwidth Memory (HBM), muy rápida pero limitada en capacidad y costosa, y los SSD convencionales, que ofrecen mucha capacidad pero una latencia y un ancho de banda inferiores . El objetivo principal son las cargas de inferencia de IA, en las que los modelos deben consultar grandes volúmenes de datos cerca del acelerador.
La primera especificación contempla:
Google, a través de DeepMind, y Tenstorrent se incorporaron al trabajo de estandarización durante el proceso de desarrollo . Su participación da al proyecto respaldo adicional entre fabricantes de aceleradores, proveedores de infraestructura y desarrolladores de sistemas de IA.
Los aceleradores actuales pueden disponer de un ancho de banda enorme, pero la capacidad de HBM integrada junto a ellos sigue siendo limitada. Cuando un modelo supera ese espacio, los datos deben moverse hacia niveles de memoria más lentos, lo que puede aumentar la latencia y el coste de la inferencia.
Sandisk afirma que HBF puede ofrecer entre 8 y 16 veces más capacidad que HBM a un coste similar. En una simulación con un modelo Llama 3.1 de 405.000 millones de parámetros, la compañía indicó que el rendimiento quedó dentro de una diferencia del 2,2 % respecto a una configuración hipotética de HBM con capacidad ilimitada . Estas cifras proceden de simulaciones y estimaciones de Sandisk, no de un producto comercial ya disponible.
La especificación abierta ya está publicada. Las primeras muestras de memoria se esperan para finales de 2026 y los dispositivos comerciales, para comienzos de 2027 .
Los anuncios estuvieron acompañados por varias sesiones centradas en la relación entre memoria, almacenamiento e inferencia de IA.
Sandisk presentó la sesión “NAND: The Versatile & Scalable Foundation of the AI Era” el miércoles 5 de agosto a las 11:40, hora del Pacífico, en el Mission City Ballroom del Centro de Convenciones de Santa Clara. Jim Elliott, Khurram Ismail y Alper Ilkbahar abordaron la optimización a nivel de sistema y el papel de la NAND en la inferencia de IA a gran escala .
El primer día del evento, el 4 de agosto, los directivos de SK hynix Kim Chun-sung y Kang Uk-song participaron en la ponencia “Orchestrating Efficient AI Infrastructure through Tiered Memory in the Era of Agentic AI”, dedicada a las arquitecturas de memoria jerárquica para infraestructura de IA .
El 6 de agosto, a las 9:45, hora del Pacífico, Sandisk, SK hynix y Google DeepMind participaron en el panel “Breaking the Memory Wall with High Bandwidth Flash”. Rajeev Nagabhirava, de Sandisk; Lim Eui-cheol, de SK hynix; y Xiaoyu Ma, de Google DeepMind, debatieron cómo HBF puede reducir la brecha entre la capacidad de memoria y la potencia de cálculo en las cargas de inferencia .
El título del panel aparece respaldado por materiales oficiales de Sandisk y SK hynix. No obstante, los detalles completos de la descripción dependen de la agenda final del evento, por lo que conviene distinguir entre el título confirmado y las explicaciones más amplias sobre su contenido .
BiCS10 y HBF atacan problemas distintos, pero relacionados. La NAND QLC de mayor densidad puede ayudar a construir SSD más compactos y eficientes para lagos de datos, repositorios de modelos y almacenamiento de alta capacidad. HBF, por su parte, busca acercar una cantidad mucho mayor de memoria al acelerador sin depender exclusivamente de ampliar la costosa HBM.
La decisión de llevar HBF al OCP también resulta significativa. En lugar de limitar la tecnología a una implementación propietaria, Sandisk y SK hynix están impulsando una base abierta que otros fabricantes pueden adoptar . Si las muestras y los productos cumplen las expectativas anunciadas, HBF podría convertirse en un nuevo nivel dentro de la jerarquía de memoria de los centros de datos de IA, situado entre la velocidad de HBM y la capacidad de la memoria flash convencional.