Cómo OceanStor M900 aborda el límite de memoria de la caché KV

En una conversación extensa o una tarea realizada por un agente de IA, el sistema genera una caché KV —de claves y valores— que le permite reutilizar información durante la generación de respuestas. El problema es de capacidad: no siempre cabe todo el contexto útil en la memoria más cercana a los procesadores. OceanStor M900, de Huawei, busca aliviar ese límite con una capa de caché compartida basada en unidades SSD, situada por debajo de la memoria del chip y la DRAM. No pretende sustituir la memoria más rápida de la NPU, el procesador especializado en IA. 81012

Más caché al alcance, no más memoria dentro del chip

Huawei afirma que su interconexión Lingqu, también llamada UnifiedBus, permite compartir la caché KV en un SuperPoD —su sistema de procesamiento de IA a gran escala— y distribuirla entre la memoria del chip, la DRAM y los SSD. Según la compañía, un clúster puede ofrecer hasta 64 PB, mientras que la caché KV disponible para cada NPU pasa de una escala de gigabytes a otra de terabytes. La distinción importa: cada procesador accede a esa capacidad compartida; no incorpora terabytes nuevos de memoria en el chip. 810

Así, M900 se plantea como infraestructura para conservar y reutilizar contexto durante la inferencia, no como otro chip de cálculo. Complementa a las NPU —incluidas las de la familia Ascend— y depende de la interconexión para compartir los datos; tampoco reemplaza un sistema de almacenamiento convencional dedicado a suministrar datos de uso general. Huawei lo orienta a tareas con agentes y contextos largos, y la prensa especializada señala los Atlas 960 SuperPoD como uno de sus entornos previstos. 12614

Qué promete Huawei sobre velocidad y resistencia

La compañía atribuye a la integración de funciones de CPU, controlador de red y controlador NAND una conexión de un solo salto entre la NPU y el SSD, sin reenvío por CPU ni conversión de protocolos. Afirma que con ello la latencia de acceso se reduce un 90 %, hasta 60 microsegundos, y que el ancho de banda agregado llega a 40 TB/s por clúster, 1,5 veces el de la solución con la que lo compara. Esa cifra de ancho de banda corresponde al conjunto del clúster, no a cada NPU. 8

En un escenario que describe como «típico» de programación con IA, Huawei asegura que el clúster duplica la producción de tokens y reduce a la mitad el tiempo hasta el primer token. No se trata de una mejora demostrada para cualquier petición de contexto largo o tarea con agentes. 814

Para gestionar el desgaste, Huawei dice que su sistema KV-Aware predice cuánto tiempo serán útiles los datos de caché y decide dónde guardarlos. La empresa afirma que admite hasta 24 escrituras completas de unidad al día, prolonga 16 veces la vida útil de los SSD y permite tres años de funcionamiento estable. Sostiene que reducir sustituciones y mantenimiento puede abaratar la inferencia, pero el material citado no aporta una medición del ahorro por token. 8

La cuestión pendiente es cuánto de esa capacidad resulta aprovechable en condiciones reales. Harían falta pruebas independientes de tasas de acierto de caché, latencia y ancho de banda con varios usuarios a la vez, mejoras frente a una referencia definida y desgaste y costes a lo largo del tiempo. La cobertura externa disponible recoge las cifras de Huawei, pero no las valida mediante ensayos independientes. 614