RespuestasPublicado18 fuentes
Huawei afirma que descargar la caché KV multiplicó por 7,3 el rendimiento de inferencia
En la Conferencia de Almacenamiento Avanzado de Shanghái, Huawei informó que descargar la caché KV elevó 7,3 veces el rendimiento de inferencia en una prueba de laboratorio con GLM 5.2; la coordinación de E/S entre al... La caché KV conserva datos Key y Value ya calculados para reutilizarlos durante la generación de...
Publicado porEditado con GPT-6 LunaImágenes generadas con GPT Image 2
Respuesta de investigación
Conclusiones clave
- En la Conferencia de Almacenamiento Avanzado de Shanghái, Huawei informó que descargar la caché KV elevó 7,3 veces el rendimiento de inferencia en una prueba de laboratorio con GLM 5.2; la coordinación de E/S entre al...
- La caché KV conserva datos Key y Value ya calculados para reutilizarlos durante la generación de texto.
- La propuesta combina acceso directo del procesador a la caché con coordinación entre almacenamiento y red.
Prompt de IA
openai.comCreate a landscape editorial hero image for this Studio Global article: What storage-network convergence approach did Huawei present at the ODCC-organized Advanced Storage Conference in Shanghai on October 22, 20. Article summary: Huawei presented storage–network convergence as a way to reduce the cost of moving KV Cache between compute, storage, and network during agentic AI inference at the October 22, 2026 ASC session in Shanghai; ODCC organize. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
En la Conferencia de Almacenamiento Avanzado (ASC) celebrada en Shanghái el 22 de octubre de 2026, Huawei presentó la coordinación entre almacenamiento y red como una forma de aliviar los cuellos de botella de la caché KV en la inferencia de inteligencia artificial. La compañía informó que, en una prueba de laboratorio con GLM-5.2, descargar esa caché permitió alcanzar 7,3 veces el rendimiento de una solución convencional basada en memoria. Según Huawei, la coordinación de E/S entre almacenamiento y red sumó una mejora adicional del 20% en eficiencia. La empresa no divulgó la configuración completa de la prueba.5
8
Por qué la caché KV se convierte en un reto de infraestructura
Durante la inferencia, un modelo genera datos Key y Value al procesar tokens. La caché KV conserva esos datos ya calculados para que puedan reutilizarse en la generación de los siguientes tokens, en vez de repetir el mismo trabajo.47
48
La caché aumenta a medida que se alarga el contexto. En conversaciones de varios turnos, los sistemas también pueden necesitar conservar o reutilizar información previa. Cuando las solicitudes y los datos almacenados se distribuyen por un clúster, mover esa información entre cómputo, almacenamiento y red puede incrementar el tráfico y la presión sobre la memoria disponible. La cobertura del evento describió cómo el crecimiento de la caché por solicitud, la caché residente y el tráfico entre nodos puede llevar el total de caché KV de un clúster a escala de petabytes, según Huawei.5
La compañía resumió las limitaciones en tres «muros»: capacidad de E/S insuficiente en el lado del cómputo, latencia al mover datos entre capas y falta de IOPS para atender de manera eficiente numerosas operaciones de caché.5
Una propuesta que combina cómputo, almacenamiento y red
El enfoque presentado por Huawei abarca aceleradores, almacenamiento y red; no trata la caché KV únicamente como un problema de capacidad de memoria. La cobertura del evento describe una ruta en el lado del cómputo en la que los procesadores inician directamente las operaciones de E/S de la caché, desde el acceso mediante AI CPU y núcleos vectoriales hasta operaciones SIMT de grano fino. También señala la coordinación del almacenamiento y la red como parte del diseño general.5
Las cifras de rendimiento se vinculan a dos pasos: descargar directamente la caché KV y, además, coordinar la planificación de E/S entre almacenamiento y red. Los reportes disponibles no ofrecen suficiente detalle para verificar todos los elementos de implementación ni para confirmar que una configuración específica de planificación de Hyper-Converged Fabric (HCF) haya producido las mejoras. Por eso, conviene entender las cifras como resultados de un escenario de laboratorio descrito por Huawei, no como una especificación pública completa de la arquitectura.5
7
Qué resultados informó Huawei y qué no se sabe
En la prueba de laboratorio con GLM-5.2, Huawei dijo que la descarga directa de la caché KV alcanzó 7,3 veces el rendimiento de inferencia de un enfoque convencional basado en memoria. La compañía reportó una mejora adicional del 20% en eficiencia de inferencia al añadir la coordinación de E/S entre almacenamiento y red.5
Estas cifras deben leerse con cautela. Huawei no publicó la configuración completa de la prueba, lo que limita la evaluación externa de la carga de trabajo, la comparación de referencia y la contribución de cada elemento del diseño. La cobertura disponible del evento tampoco respalda por separado la afirmación de una mejora superior al 30% en el rendimiento de E/S del almacenamiento; por tanto, esa cifra no puede darse aquí por verificada.5
7
Una actualización de octubre dentro de una estrategia más amplia
La presentación de octubre llegó después de que Huawei anunciara en septiembre una versión mejorada de Stellar AI Fabric en HUAWEI CONNECT. La cobertura de la conferencia presenta la aparición de octubre como la divulgación de mediciones de descarga de caché KV. En septiembre, Huawei también presentó OceanStor M900 Context Memory Storage, diseñado para extender la caché KV más allá de la memoria integrada en el chip y la DRAM mediante un conjunto compartido y jerarquizado para inferencia de IA.10
15
16
La distinción es importante: las cifras de octubre añaden una afirmación de rendimiento a la estrategia de almacenamiento y red que Huawei ya venía desarrollando. Sin embargo, las fuentes disponibles no demuestran que todos los detalles técnicos expuestos en octubre fueran idénticos a los del diseño presentado en septiembre. Tampoco documentan el lanzamiento de un producto nuevo en la conferencia de octubre.5
10
16
Studio Global AI
Continúe su investigación
Esta página incluye una respuesta respaldada por fuentes que puede continuar dentro de Studio Global.
La gente también pregunta
¿Cuál es la respuesta corta a "Huawei afirma que descargar la caché KV multiplicó por 7,3 el rendimiento de inferencia"?
En la Conferencia de Almacenamiento Avanzado de Shanghái, Huawei informó que descargar la caché KV elevó 7,3 veces el rendimiento de inferencia en una prueba de laboratorio con GLM 5.2; la coordinación de E/S entre al...
¿Cuáles son los puntos clave a validar primero?
En la Conferencia de Almacenamiento Avanzado de Shanghái, Huawei informó que descargar la caché KV elevó 7,3 veces el rendimiento de inferencia en una prueba de laboratorio con GLM 5.2; la coordinación de E/S entre al... La caché KV conserva datos Key y Value ya calculados para reutilizarlos durante la generación de texto.
¿Qué debo hacer a continuación en la práctica?
La propuesta combina acceso directo del procesador a la caché con coordinación entre almacenamiento y red.