OceanStor M900: una caché KV compartida de hasta 64 PB para inferencia de IA

Presentado en HUAWEI CONNECT 2026, OceanStor M900 es un sistema de almacenamiento de contexto para la inferencia de IA en los SuperPoD de Huawei, sus conjuntos de aceleradores. Su objetivo es que más cálculos ya realizados permanezcan disponibles para reutilizarlos cuando crecen los prompts, las conversaciones y las tareas de agentes de IA. 19

Por qué compartir la caché KV

La caché de claves y valores (KV) conserva información calculada mientras un modelo procesa un prompt. Si una nueva solicitud puede aprovechar una parte inicial ya calculada, el sistema evita repetir ese trabajo. El problema es que, con contextos extensos e interacciones sucesivas, no toda esa caché cabe en la memoria próxima a cada unidad de procesamiento neuronal (NPU, el acelerador de IA). Compartirla puede aumentar el contexto disponible, aunque la mejora real depende de cuánto contenido se pueda reutilizar. 136

De la memoria del chip a los SSD

OceanStor M900 utiliza la red UnifiedBus para reunir la caché KV en varios niveles: memoria integrada en el chip, memoria DRAM y unidades de estado sólido (SSD). Huawei afirma que un clúster puede ofrecer 64 PB de capacidad de caché KV y ampliar la capacidad accesible para cada NPU de la escala de gigabytes a la de terabytes. La distinción importa: los 64 PB corresponden al almacenamiento compartido del clúster, no a la memoria de una sola NPU. 3617

Para acceder al nivel SSD, Huawei describe una ruta de un salto desde la NPU. El diseño integra funciones de CPU y de controladores de red y NAND para evitar algunos pasos habituales de conversión de protocolos y reenvío mediante CPU. La empresa comunica una latencia de acceso de aproximadamente 60 microsegundos y un ancho de banda agregado de 40 TB/s por clúster. Ninguna de esas cifras implica que todas las solicitudes alcancen la misma velocidad. 362832

Qué promete para la respuesta y el coste

Reutilizar una parte del contexto podría acortar la espera hasta el primer token generado y liberar capacidad de cálculo para producir más tokens en el conjunto del clúster. Huawei afirma que, en un escenario típico de programación con IA, su arquitectura duplicó la producción de tokens del clúster de inferencia y redujo a la mitad el tiempo hasta el primer token. Se trata de resultados atribuidos a esa carga de trabajo, no de una mejora garantizada para cualquier aplicación. 2833

Huawei también plantea una gestión de datos consciente de la caché KV que decide cuánto tiempo conservarlos en los distintos medios de almacenamiento. La compañía cita una resistencia de las SSD de hasta 24 escrituras completas de la unidad al día, una mejora de 16 veces en su vida útil y un objetivo de estabilidad de tres años. La idea es reducir tanto los cálculos repetidos como los reemplazos de unidades y, con ello, el coste por token. Las fuentes aportadas no verifican de forma independiente esas mejoras de rendimiento, durabilidad o coste en SuperPoD de producción. 6833