AnswersPublished18 sources
Huawei meldt 7,3× hogere inferentiedoorvoer met offloading van KV-cache
Op de Advanced Storage Conference in Shanghai meldde Huawei 7,3× hogere inferentiedoorvoer in een GLM 5.2 labortest na het verplaatsen van KV cache, gevolgd door 20% extra efficiëntie met afgestemde opslag en netwerk... KV cache bewaart eerder berekende Key en Value gegevens, zodat een AI model die bij volgende toke...
Gepubliceerd doorBewerkt met GPT-6 LunaAfbeeldingen gegenereerd met GPT Image 2
Research answer
Key takeaways
- Op de Advanced Storage Conference in Shanghai meldde Huawei 7,3× hogere inferentiedoorvoer in een GLM 5.2 labortest na het verplaatsen van KV cache, gevolgd door 20% extra efficiëntie met afgestemde opslag en netwerk...
- KV cache bewaart eerder berekende Key en Value gegevens, zodat een AI model die bij volgende tokens opnieuw kan gebruiken.
- Huawei presenteert de aanpak als samenwerking tussen rekenkracht, opslag en netwerk.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What storage-network convergence approach did Huawei present at the ODCC-organized Advanced Storage Conference in Shanghai on October 22, 20. Article summary: Huawei presented storage–network convergence as a way to reduce the cost of moving KV Cache between compute, storage, and network during agentic AI inference at the October 22, 2026 ASC session in Shanghai; ODCC organize. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
Tijdens de Advanced Storage Conference (ASC) in Shanghai presenteerde Huawei op 22 oktober 2026 een aanpak om knelpunten rond KV-cache bij AI-inferentie te verminderen. De bijeenkomst werd georganiseerd door de Open Data Center Committee (ODCC), een brancheorganisatie voor datacentertechnologie. Huawei meldde in een GLM-5.2-labortest 7,3× hogere inferentiedoorvoer na het offloaden van KV-cache. Met afgestemde I/O-planning voor opslag en netwerk kwam daar volgens het bedrijf nog 20% efficiëntiewinst bij. Huawei publiceerde niet de volledige testopzet.5
8
Waarom KV-cache een infrastructuurkwestie wordt
Bij het genereren van tekst berekent een model voor tokens onder meer Key- en Value-gegevens. De KV-cache bewaart die resultaten, zodat het model ze bij volgende tokens opnieuw kan gebruiken in plaats van dezelfde berekeningen over te doen.47
48
Hoe langer de context, hoe groter de cache per verzoek kan worden. Bij gesprekken met meerdere beurten kan eerder opgebouwde context bovendien bewaard of opnieuw gebruikt moeten worden. Als verzoeken en cachegegevens over een cluster zijn verdeeld, vraagt het verplaatsen van die gegevens tussen rekenkracht, opslag en netwerk extra bandbreedte en geheugen. Volgens de berichtgeving over de conferentie kunnen de cache per verzoek, de totale cache die in het cluster aanwezig is en het verkeer tussen servers samen de KV-cache van een cluster richting petabytes duwen.5
Huawei beschreef drie knelpunten als ‘muren’: beperkte I/O-capaciteit aan de rekenkant, vertraging wanneer gegevens tussen lagen bewegen en onvoldoende IOPS om veel cachebewerkingen efficiënt af te handelen.5
Een gezamenlijke aanpak voor rekenen, opslag en netwerk
Huawei’s voorstel behandelt KV-cache niet alleen als een kwestie van geheugencapaciteit. De aanpak verbindt de accelerator, opslag en het netwerk. In de beschrijving van de conferentie kan de processor cache-I/O rechtstreeks starten: van toegang via een AI-CPU en vectorcores naar fijnmazige I/O op SIMT-niveau. Ook coördinatie tussen opslag en netwerk maakt deel uit van het bredere ontwerp.5
De genoemde prestatiewinst bestaat uit twee stappen: eerst KV-cache rechtstreeks offloaden en daarna de I/O-planning van opslag en netwerk op elkaar afstemmen. De beschikbare verslagen geven niet genoeg details om alle onderdelen van de implementatie te controleren of vast te stellen dat een specifieke configuratie van Hyper-Converged Fabric (HCF) de winst veroorzaakte. De cijfers zijn daarom het best te lezen als resultaten uit een door Huawei beschreven laboratoriumscenario, niet als een volledige openbare technische specificatie.5
7
Wat Huawei claimt — en wat onbekend blijft
In het GLM-5.2-labscenario zou rechtstreekse offloading van KV-cache volgens Huawei 7,3× de inferentiedoorvoer hebben opgeleverd ten opzichte van een conventionele aanpak op basis van geheugen. Na toevoeging van afgestemde I/O-planning voor opslag en netwerk meldde het bedrijf nog eens 20% hogere inferentie-efficiëntie.5
Die cijfers zijn niet zonder meer te vertalen naar andere systemen of toepassingen. Huawei maakte de volledige testconfiguratie niet bekend. Daardoor kunnen buitenstaanders de gebruikte werklast, de vergelijkingsbasis en de bijdrage van de afzonderlijke ontwerpkeuzes niet goed beoordelen. Ook wordt een afzonderlijke claim van meer dan 30% betere opslag-I/O niet onderbouwd door de beschikbare berichtgeving; die claim is hier dus niet als bevestigd resultaat opgenomen.5
7
Oktober: prestatiecijfers bij een al ingezette koers
De presentatie in oktober volgde op Huawei’s aankondiging van een vernieuwde Stellar AI Fabric tijdens HUAWEI CONNECT in september. Volgens de berichtgeving over de conferentie maakte Huawei in oktober laboratoriumcijfers bekend voor KV-cache-offloading. In september presenteerde het bedrijf ook OceanStor M900 Context Memory Storage: opslag die KV-cache voor AI-inferentie voorbij on-chip geheugen en DRAM uitbreidt naar een gedeelde, gelaagde pool.10
15
16
De beschikbare bronnen laten niet zien dat elk technisch detail uit de oktoberpresentatie identiek was aan het ontwerp dat in september werd aangekondigd. Ze beschrijven de oktoberbijeenkomst ook niet als de lancering van een nieuw product. De cijfers voegen dus een prestatieclaim toe aan een bestaande richting rond opslag en netwerk, maar vormen geen volledige openbare beschrijving van de architectuur.5
10
16
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Huawei meldt 7,3× hogere inferentiedoorvoer met offloading van KV-cache"?
Op de Advanced Storage Conference in Shanghai meldde Huawei 7,3× hogere inferentiedoorvoer in een GLM 5.2 labortest na het verplaatsen van KV cache, gevolgd door 20% extra efficiëntie met afgestemde opslag en netwerk...
What are the key points to validate first?
Op de Advanced Storage Conference in Shanghai meldde Huawei 7,3× hogere inferentiedoorvoer in een GLM 5.2 labortest na het verplaatsen van KV cache, gevolgd door 20% extra efficiëntie met afgestemde opslag en netwerk... KV cache bewaart eerder berekende Key en Value gegevens, zodat een AI model die bij volgende tokens opnieuw kan gebruiken.
What should I do next in practice?
Huawei presenteert de aanpak als samenwerking tussen rekenkracht, opslag en netwerk.