AnswersPublished18 sources
Huawei hævder 7,3 gange højere AI-gennemløb med KV-cache-aflastning
Huawei rapporterede på Advanced Storage Conference i oktober 2026 7,3 gange højere inferensgennemløb i en GLM 5.2 laboratorietest med KV cache aflastning og yderligere 20 procent forbedring med koordineret I/O mellem... KV cache gemmer tidligere beregnede Key og Value data, så modellen kan genbruge dem.
Udgivet afRedigeret med GPT-6 LunaBilleder genereret med GPT Image 2
Research answer
Key takeaways
- Huawei rapporterede på Advanced Storage Conference i oktober 2026 7,3 gange højere inferensgennemløb i en GLM 5.2 laboratorietest med KV cache aflastning og yderligere 20 procent forbedring med koordineret I/O mellem...
- KV cache gemmer tidligere beregnede Key og Value data, så modellen kan genbruge dem.
- Resultaterne er Huaweis egne og kan ikke vurderes fuldt ud uden den komplette testopsætning.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What storage-network convergence approach did Huawei present at the ODCC-organized Advanced Storage Conference in Shanghai on October 22, 20. Article summary: Huawei presented storage–network convergence as a way to reduce the cost of moving KV Cache between compute, storage, and network during agentic AI inference at the October 22, 2026 ASC session in Shanghai; ODCC organize. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
På Advanced Storage Conference (ASC) i Shanghai den 22. oktober 2026 beskrev Huawei, hvordan tættere samspil mellem beregning, lagring og netværk kan afhjælpe flaskehalse omkring KV-cache i AI-inferens. Virksomheden rapporterede 7,3 gange højere gennemløb i en laboratorietest med modellen GLM-5.2 efter at have aflastet KV-cache. Med koordineret I/O-planlægning på tværs af lagring og netværk meldte Huawei om yderligere 20 procent højere effektivitet. Det er virksomhedens egne resultater, og den fulde testopsætning er ikke offentliggjort.5
8
Hvorfor KV-cache belaster infrastrukturen
Når en AI-model genererer tekst, beregner den Key- og Value-data for de tokens, den behandler. KV-cache gemmer disse resultater, så modellen kan genbruge dem senere i stedet for at gentage beregningerne.47
48
Jo længere konteksten bliver, desto større bliver cachen for den enkelte forespørgsel. I samtaler over flere omgange kan systemet også have brug for at bevare eller genbruge tidligere samtaletilstand. Når cachedata fordeles på tværs af en klynge, skal de flyttes mellem beregning, lagring og netværk. Det øger datatrafikken og lægger pres på den tilgængelige hukommelse. I omtalen af konferencen beskrev Huawei, hvordan væksten i cache pr. forespørgsel, den samlede cache i brug og trafik mellem noder kan bringe en inferensklynges KV-cache op i petabyteklassen.5
Huawei beskrev udfordringerne som tre flaskehalse: begrænset I/O-kapacitet på beregningssiden, forsinkelser når data flyttes mellem lag, og for få IOPS til effektivt at håndtere mange cacheoperationer.5
Et samspil mellem beregning, lagring og netværk
Huaweis tilgang handler ikke kun om at få plads til mere KV-cache. Den spænder over acceleratorer, lagring og netværk. Konferencematerialet beskriver en vej, hvor processorer på beregningssiden selv kan sætte I/O for cachen i gang – fra adgang via AI-CPU og vektorkerner mod mere finkornet I/O på SIMT-niveau. Også lagring og netværk indgår i den bredere koordinering.5
De rapporterede resultater knytter sig til to trin: direkte aflastning af KV-cache og derefter koordineret I/O-planlægning mellem lagring og netværk. De tilgængelige konferencerapporter giver ikke nok detaljer til at bekræfte alle elementer i implementeringen eller fastslå, at en bestemt konfiguration af Hyper-Converged Fabric (HCF) skabte gevinsterne. Tallene bør derfor forstås som resultater fra Huaweis beskrevne laboratorietest – ikke som en fuldstændig offentlig arkitekturbeskrivelse.5
7
Hvad tallene viser – og hvad de ikke viser
I laboratorietesten med GLM-5.2 sagde Huawei, at direkte aflastning af KV-cache gav 7,3 gange så højt inferensgennemløb som en traditionel hukommelsesbaseret løsning. Med koordineret I/O-planlægning mellem lagring og netværk rapporterede virksomheden yderligere 20 procent højere inferenseffektivitet.5
Tallene bør læses med forbehold. Huawei offentliggjorde ikke hele testopsætningen, hvilket gør det vanskeligt at vurdere arbejdsbelastningen, sammenligningsgrundlaget og de enkelte designgrebs bidrag. De tilgængelige kilder underbygger heller ikke særskilt en påstand om over 30 procent højere lager-I/O; derfor kan den ikke betragtes som dokumenteret her.5
7
Oktoberresultaterne i en større lagringsstrategi
Oktoberpræsentationen kom efter, at Huawei i september havde præsenteret en opgraderet Stellar AI Fabric på HUAWEI CONNECT. Konferencedækningen beskriver oktober som en fremlæggelse af målinger for KV-cache-aflastning. I september præsenterede Huawei også OceanStor M900 Context Memory Storage, en løsning, der skal udvide KV-cache ud over chipbaseret hukommelse og DRAM til en delt, lagdelt pulje til AI-inferens.10
15
16
Skellet er væsentligt: Oktoberresultaterne føjede en præstationspåstand til Huaweis eksisterende retning inden for lagring og netværk. De tilgængelige kilder fastslår dog ikke, at alle tekniske detaljer fra oktober var identiske med septemberdesignet. De dokumenterer heller ikke, at et særskilt nyt produkt blev lanceret på oktoberkonferencen.5
10
16
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Huawei hævder 7,3 gange højere AI-gennemløb med KV-cache-aflastning"?
Huawei rapporterede på Advanced Storage Conference i oktober 2026 7,3 gange højere inferensgennemløb i en GLM 5.2 laboratorietest med KV cache aflastning og yderligere 20 procent forbedring med koordineret I/O mellem...
What are the key points to validate first?
Huawei rapporterede på Advanced Storage Conference i oktober 2026 7,3 gange højere inferensgennemløb i en GLM 5.2 laboratorietest med KV cache aflastning og yderligere 20 procent forbedring med koordineret I/O mellem... KV cache gemmer tidligere beregnede Key og Value data, så modellen kan genbruge dem.
What should I do next in practice?
Resultaterne er Huaweis egne og kan ikke vurderes fuldt ud uden den komplette testopsætning.