RéponsesPublié18 sources
Pour accélérer l’IA, Huawei veut désengorger le KV Cache
Le 22 octobre 2026, à la conférence Advanced Storage Conference de Shanghai, Huawei a annoncé un débit d’inférence multiplié par 7,3 dans un test de laboratoire avec GLM 5.2, puis un gain d’efficacité supplémentaire d... Le KV Cache conserve des données Key et Value déjà calculées pour éviter de refaire certains cal...
Publié parModifié avec GPT-6 LunaImages générées avec GPT Image 2
Réponse de recherche
Points clés à retenir
- Le 22 octobre 2026, à la conférence Advanced Storage Conference de Shanghai, Huawei a annoncé un débit d’inférence multiplié par 7,3 dans un test de laboratoire avec GLM 5.2, puis un gain d’efficacité supplémentaire d...
- Le KV Cache conserve des données Key et Value déjà calculées pour éviter de refaire certains calculs.
- Huawei décrit une approche associant calcul, stockage et réseau. Mais l’entreprise n’a pas publié le protocole complet des essais : les chiffres restent des résultats qu’elle rapporte pour un scénario précis, et non u...
Prompt IA
openai.comCreate a landscape editorial hero image for this Studio Global article: What storage-network convergence approach did Huawei present at the ODCC-organized Advanced Storage Conference in Shanghai on October 22, 20. Article summary: Huawei presented storage–network convergence as a way to reduce the cost of moving KV Cache between compute, storage, and network during agentic AI inference at the October 22, 2026 ASC session in Shanghai; ODCC organize. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
À Shanghai, le 22 octobre 2026, Huawei a présenté une approche qui associe calcul, stockage et réseau pour réduire les goulots d’étranglement liés au KV Cache lors de l’inférence IA. Dans un scénario de laboratoire avec le modèle GLM-5.2, l’entreprise affirme que le déport du cache a multiplié le débit d’inférence par 7,3 par rapport à une solution classique fondée sur la mémoire. Elle annonce aussi un gain supplémentaire de 20 % en efficacité après coordination des entrées-sorties entre stockage et réseau. Huawei n’a toutefois pas publié la configuration complète du test.5
8
Pourquoi le KV Cache devient un enjeu d’infrastructure
Pendant l’inférence, un modèle calcule des données dites Key et Value à mesure qu’il traite les tokens. Le KV Cache conserve ces résultats pour que le modèle puisse les réutiliser lors de la génération des tokens suivants, au lieu de répéter les mêmes calculs.47
48
Plus le contexte est long, plus le cache associé à une requête peut grossir. Dans les conversations à plusieurs tours, il peut aussi être utile de conserver ou de réutiliser l’historique. À l’échelle d’un cluster, la répartition de ces données entre les ressources de calcul, le stockage et le réseau génère des transferts supplémentaires et sollicite la mémoire disponible. Selon la présentation rapportée par Huawei, l’augmentation du cache par requête, du volume conservé en mémoire et du trafic entre nœuds peut porter le KV Cache d’un cluster à l’échelle du pétaoctet.5
Huawei résume les difficultés en trois « murs » : des capacités d’entrées-sorties limitées côté calcul, la latence lors des transferts entre les différents niveaux, et un nombre insuffisant d’opérations d’entrée-sortie par seconde (IOPS) pour traiter efficacement un grand volume d’accès au cache.5
Une réponse qui associe calcul, stockage et réseau
Huawei présente son approche comme une coordination de plusieurs éléments d’infrastructure, et pas seulement comme une question de capacité mémoire. D’après les comptes rendus de la conférence, côté calcul, les processeurs doivent pouvoir déclencher directement les entrées-sorties du cache, avec une évolution de l’accès par CPU IA et cœur vectoriel vers des accès plus fins au niveau SIMT. La conception fait également intervenir le stockage et la coordination avec le réseau.5
Les gains annoncés correspondent à deux étapes : le déport direct du KV Cache, puis l’ajout d’une planification coordonnée des entrées-sorties entre stockage et réseau. Les informations publiées ne décrivent cependant pas assez précisément tous les détails de mise en œuvre pour confirmer, par exemple, le rôle exact d’une accélération vectorielle proche du stockage ou d’une configuration particulière de planification HCF (Hyper-Converged Fabric). Il vaut donc mieux lire ces chiffres comme les résultats d’un scénario de laboratoire présenté par Huawei, et non comme une spécification publique complète de l’architecture.5
7
Les gains annoncés, avec une réserve importante
Dans son scénario de laboratoire avec GLM-5.2, Huawei affirme que le déport direct du KV Cache a produit 7,3 fois le débit d’inférence d’une approche classique fondée sur la mémoire. L’entreprise annonce ensuite 20 % de gain supplémentaire en efficacité d’inférence avec la coordination des entrées-sorties entre stockage et réseau.5
Ces résultats doivent être considérés avec prudence. Huawei n’a pas dévoilé la configuration complète du test, ce qui empêche d’évaluer précisément la charge de travail, la référence de comparaison et la contribution de chaque élément de la conception. Les sources disponibles ne permettent pas non plus de vérifier séparément l’affirmation d’une hausse de plus de 30 % des performances d’entrées-sorties du stockage : ce chiffre ne peut donc pas être présenté ici comme confirmé.5
7
Une étape supplémentaire dans la stratégie de stockage de Huawei
La présentation d’octobre fait suite à la mise à jour de Stellar AI Fabric annoncée par Huawei en septembre, lors de HUAWEI CONNECT. Les comptes rendus de la conférence d’octobre la décrivent comme la publication de mesures de laboratoire sur le déport du KV Cache. En septembre, Huawei avait aussi présenté OceanStor M900 Context Memory Storage, une solution destinée à étendre le KV Cache au-delà de la mémoire intégrée aux puces et de la DRAM, au sein d’un pool partagé et hiérarchisé pour l’inférence IA.10
15
16
La distinction est importante : les chiffres d’octobre ajoutent des résultats de performance à une orientation de stockage et de réseau déjà présentée par Huawei. Les sources disponibles ne permettent pas d’établir que tous les détails techniques évoqués en octobre étaient identiques à ceux du dispositif de septembre. Elles ne font pas non plus état d’un lancement distinct de nouveau produit lors de la conférence d’octobre.5
10
16
Studio Global AI
Continuez vos recherches
Cette page comprend une réponse basée sur la source que vous pouvez continuer dans Studio Global.
Les gens demandent aussi
Quelle est la réponse courte à « Pour accélérer l’IA, Huawei veut désengorger le KV Cache » ?
Le 22 octobre 2026, à la conférence Advanced Storage Conference de Shanghai, Huawei a annoncé un débit d’inférence multiplié par 7,3 dans un test de laboratoire avec GLM 5.2, puis un gain d’efficacité supplémentaire d...
Quels sont les points clés à valider en premier ?
Le 22 octobre 2026, à la conférence Advanced Storage Conference de Shanghai, Huawei a annoncé un débit d’inférence multiplié par 7,3 dans un test de laboratoire avec GLM 5.2, puis un gain d’efficacité supplémentaire d... Le KV Cache conserve des données Key et Value déjà calculées pour éviter de refaire certains calculs.
Que dois-je faire ensuite en pratique ?
Huawei décrit une approche associant calcul, stockage et réseau. Mais l’entreprise n’a pas publié le protocole complet des essais : les chiffres restent des résultats qu’elle rapporte pour un scénario précis, et non u...