AnswersPublished18 sources
Huawei punta su storage e rete per superare il collo di bottiglia della KV Cache
Il 22 ottobre 2026, alla conferenza Advanced Storage Conference di Shanghai, Huawei ha dichiarato che l’offload della KV Cache ha portato il throughput d’inferenza a 7,3 volte quello di un approccio basato sulla memor... La KV Cache conserva dati Key e Value già calcolati, così il modello può riutilizzarli.
Pubblicato daModificato con GPT-6 LunaImmagini generate con GPT Image 2
Research answer
Key takeaways
- Il 22 ottobre 2026, alla conferenza Advanced Storage Conference di Shanghai, Huawei ha dichiarato che l’offload della KV Cache ha portato il throughput d’inferenza a 7,3 volte quello di un approccio basato sulla memor...
- La KV Cache conserva dati Key e Value già calcolati, così il modello può riutilizzarli.
- Huawei propone di affrontare il problema coordinando elaborazione, storage e rete.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What storage-network convergence approach did Huawei present at the ODCC-organized Advanced Storage Conference in Shanghai on October 22, 20. Article summary: Huawei presented storage–network convergence as a way to reduce the cost of moving KV Cache between compute, storage, and network during agentic AI inference at the October 22, 2026 ASC session in Shanghai; ODCC organize. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
Alla conferenza Advanced Storage Conference (ASC), organizzata dall’ODCC a Shanghai, Huawei ha presentato un approccio che coordina elaborazione, storage e rete per ridurre i colli di bottiglia della KV Cache nell’inferenza AI. In uno scenario di laboratorio con il modello GLM-5.2, l’azienda ha dichiarato un throughput d’inferenza pari a 7,3 volte quello di una soluzione basata sulla memoria tradizionale; con l’aggiunta di una pianificazione coordinata dell’I/O tra storage e rete, ha riportato un ulteriore aumento del 20% dell’efficienza. Sono risultati comunicati da Huawei: la configurazione completa dei test non è stata resa pubblica.5
8
Perché la KV Cache mette sotto pressione l’infrastruttura
Durante l’inferenza, un modello genera dati Key e Value mentre elabora i token. La KV Cache conserva i risultati già calcolati, che possono essere riutilizzati nella generazione successiva invece di essere ricalcolati.47
48
Con contesti più lunghi, la cache associata a ogni richiesta aumenta. Nelle conversazioni a più turni, il sistema può inoltre dover conservare o recuperare informazioni già elaborate. Quando richieste e dati in cache sono distribuiti tra più nodi, trasferire queste informazioni tra elaborazione, storage e rete genera traffico e mette sotto pressione la memoria disponibile. Secondo quanto riferito da Huawei alla conferenza, la crescita della cache per richiesta e di quella mantenuta nel cluster, insieme al traffico tra nodi, può spingere la KV Cache complessiva verso la scala dei petabyte.5
Huawei ha descritto tre principali “muri” infrastrutturali: capacità di I/O limitata sul lato dell’elaborazione, latenza durante il trasferimento dei dati tra i diversi livelli e un numero di operazioni di I/O al secondo (IOPS) insufficiente a gestire in modo efficiente molte operazioni sulla cache.5
Un approccio che coinvolge calcolo, storage e rete
La proposta illustrata da Huawei non tratta la KV Cache soltanto come un problema di capacità della memoria. La descrizione della presentazione include un percorso sul lato dell’elaborazione in cui i processori avviano direttamente le operazioni di I/O sulla cache: dall’accesso tramite AI CPU e core vettoriali fino a operazioni SIMT più granulari. Anche il coordinamento di storage e rete rientra nell’impostazione complessiva.5
I risultati comunicati sono legati a due passaggi: l’offload diretto della KV Cache e, in aggiunta, la pianificazione coordinata dell’I/O tra storage e rete. Le fonti disponibili non descrivono però abbastanza nel dettaglio ogni elemento implementativo, né dimostrano che una specifica configurazione di Hyper-Converged Fabric (HCF) abbia prodotto i miglioramenti dichiarati. Le percentuali vanno quindi lette come risultati dello scenario di laboratorio illustrato da Huawei, non come una specifica pubblica completa dell’architettura.5
7
I risultati dichiarati e le informazioni mancanti
Nel test di laboratorio con GLM-5.2, Huawei ha affermato che l’offload diretto della KV Cache ha portato il throughput d’inferenza a 7,3 volte quello di un approccio convenzionale basato sulla memoria. Aggiungendo la pianificazione coordinata dell’I/O tra storage e rete, l’azienda ha riportato un ulteriore miglioramento del 20% dell’efficienza d’inferenza.5
I dati vanno interpretati con cautela: Huawei non ha divulgato la configurazione completa del test. Senza dettagli su carico di lavoro, riferimento di confronto e condizioni di misurazione, è difficile valutare dall’esterno quanto il risultato sia generalizzabile e quale contributo abbia dato ciascun componente. Le fonti disponibili, inoltre, non confermano la distinta affermazione di un aumento superiore al 30% delle prestazioni di I/O dello storage: quel dato non può quindi essere considerato verificato in questo articolo.5
7
Un aggiornamento di ottobre, non una nuova presentazione di prodotto
La presentazione di ottobre è arrivata dopo che Huawei aveva illustrato una versione aggiornata di Stellar AI Fabric a HUAWEI CONNECT, a settembre. Le notizie sulla conferenza ASC descrivono l’intervento di ottobre come la comunicazione di misurazioni sulla KV Cache; a settembre Huawei aveva anche presentato OceanStor M900 Context Memory Storage, pensato per estendere la KV Cache oltre la memoria on-chip e la DRAM, usando un pool condiviso e organizzato su più livelli per l’inferenza AI.10
15
16
La distinzione è importante: i dati di ottobre aggiungono una dichiarazione sulle prestazioni alla più ampia strategia di Huawei per storage e rete, ma le fonti disponibili non dimostrano che ogni dettaglio tecnico illustrato in quell’occasione coincida con il progetto presentato a settembre. Non documentano neppure il lancio di un nuovo prodotto alla conferenza ASC.5
10
16
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Huawei punta su storage e rete per superare il collo di bottiglia della KV Cache"?
Il 22 ottobre 2026, alla conferenza Advanced Storage Conference di Shanghai, Huawei ha dichiarato che l’offload della KV Cache ha portato il throughput d’inferenza a 7,3 volte quello di un approccio basato sulla memor...
What are the key points to validate first?
Il 22 ottobre 2026, alla conferenza Advanced Storage Conference di Shanghai, Huawei ha dichiarato che l’offload della KV Cache ha portato il throughput d’inferenza a 7,3 volte quello di un approccio basato sulla memor... La KV Cache conserva dati Key e Value già calcolati, così il modello può riutilizzarli.
What should I do next in practice?
Huawei propone di affrontare il problema coordinando elaborazione, storage e rete.