AnswersPublished18 sources
Huawei uppger 7,3 gånger högre AI-genomströmning med KV Cache-avlastning
På Advanced Storage Conference i Shanghai den 22 oktober 2026 uppgav Huawei att KV Cache avlastning gav 7,3 gånger högre inferensgenomströmning i ett laboratorietest med GLM 5.2. KV Cache lagrar beräknade Key och Value data så att modellen kan återanvända dem i stället för att göra om samma beräkningar.
Publicerad avRedigerad med GPT-6 LunaBilder genererade med GPT Image 2
Research answer
Key takeaways
- På Advanced Storage Conference i Shanghai den 22 oktober 2026 uppgav Huawei att KV Cache avlastning gav 7,3 gånger högre inferensgenomströmning i ett laboratorietest med GLM 5.2.
- KV Cache lagrar beräknade Key och Value data så att modellen kan återanvända dem i stället för att göra om samma beräkningar.
- Huawei beskriver en lösning som samordnar beräkning, lagring och nätverk. Resultaten är företagets egna och det fullständiga testupplägget har inte offentliggjorts, vilket gör det svårt att bedöma hur generella de är....
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What storage-network convergence approach did Huawei present at the ODCC-organized Advanced Storage Conference in Shanghai on October 22, 20. Article summary: Huawei presented storage–network convergence as a way to reduce the cost of moving KV Cache between compute, storage, and network during agentic AI inference at the October 22, 2026 ASC session in Shanghai; ODCC organize. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
På Advanced Storage Conference i Shanghai den 22 oktober 2026 presenterade Huawei samordning mellan lagring och nätverk som ett sätt att minska flaskhalsar kring KV Cache vid AI-inferens. Företaget uppgav att avlastning av KV Cache gav 7,3 gånger högre genomströmning i ett laboratorietest med GLM-5.2. När I/O-schemaläggning mellan lagring och nätverk samordnades ska inferenseffektiviteten ha ökat med ytterligare 20 procent. Det är resultat som Huawei själv redovisat, och hela testupplägget har inte offentliggjorts.5
8
Därför blir KV Cache en infrastrukturfråga
När en modell genererar text beräknar den bland annat Key- och Value-data för de token den hanterar. KV Cache sparar dessa beräknade data så att modellen kan återanvända dem vid fortsatt generering, i stället för att göra om samma arbete.47
48
Cachen växer när sammanhanget blir längre. Vid samtal i flera turer kan systemet också behöva behålla eller återanvända tidigare konversationsdata. När förfrågningar och cachedata sprids över ett kluster kan förflyttningen mellan beräkning, lagring och nätverk skapa mer trafik och pressa tillgängligt minne. Enligt bevakningen av konferensen beskrev Huawei hur cache per förfrågan, mängden cache som hålls aktiv och trafik mellan noder tillsammans kan driva ett inferenskluster mot petabyte-stora KV Cache-mängder.5
Huawei sammanfattade begränsningarna som tre ”väggar”: otillräcklig I/O-kapacitet på beräkningssidan, fördröjningar när data flyttas mellan olika lager och för få IOPS för att hantera många cacheoperationer effektivt.5
Samordning mellan beräkning, lagring och nätverk
Huaweis beskrivna lösning omfattar acceleratorer, lagring och nätverk – inte bara mer minneskapacitet. Enligt konferensbevakningen kan processorer på beräkningssidan själva initiera I/O för cachedata, med en utveckling från åtkomst via AI-CPU och vektorkärnor mot I/O på SIMT-nivå med finare granularitet. Även samordning med lagrings- och nätverkssidan ingår i den övergripande inriktningen.5
De redovisade prestandasiffrorna kopplas till två steg: först direkt avlastning av KV Cache och därefter samordnad I/O-schemaläggning mellan lagring och nätverk. Den tillgängliga konferensbevakningen ger inte tillräckligt med detaljer för att verifiera varje del av implementationen eller slå fast att en viss schemaläggning i Hyper-Converged Fabric (HCF) gav resultaten. Uppgifterna bör därför läsas som resultat från Huaweis beskrivna laboratorietest, inte som en fullständig offentlig specifikation av arkitekturen.5
7
Vad siffrorna visar – och inte visar
I laboratorietestet med GLM-5.2 uppgav Huawei att direkt avlastning av KV Cache gav 7,3 gånger högre inferensgenomströmning än en konventionell minnesbaserad lösning. Med samordnad I/O-schemaläggning för lagring och nätverk tillkom enligt företaget en förbättring av inferenseffektiviteten på 20 procent.5
Siffrorna bör tolkas försiktigt. Huawei har inte redovisat hela testkonfigurationen, vilket gör det svårt för utomstående att bedöma arbetslasten, jämförelselösningen eller hur mycket varje del av designen bidrog. Den tillgängliga konferensbevakningen styrker inte det separata påståendet om över 30 procent högre lagrings-I/O-prestanda, så den siffran går inte att verifiera här.5
7
En oktoberuppdatering av en större lagringsstrategi
Presentation i oktober följde på att Huawei i september presenterade en uppgraderad Stellar AI Fabric vid HUAWEI CONNECT. Konferensbevakningen beskriver oktoberframträdandet som en redovisning av mätningar för KV Cache-avlastning. I materialet från september presenterade Huawei också OceanStor M900 Context Memory Storage, en lösning utformad för att utöka KV Cache bortom minne på chipet och DRAM till en delad lagringspool med flera nivåer för AI-inferens.10
15
16
Skillnaden är viktig: oktobersiffrorna lägger till ett prestandapåstående till Huaweis befintliga inriktning på lagring och nätverk. De tillgängliga källorna visar däremot inte att alla tekniska detaljer från oktober var identiska med septemberlösningen. De dokumenterar inte heller någon separat produktlansering vid oktoberkonferensen.5
10
16
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Huawei uppger 7,3 gånger högre AI-genomströmning med KV Cache-avlastning"?
På Advanced Storage Conference i Shanghai den 22 oktober 2026 uppgav Huawei att KV Cache avlastning gav 7,3 gånger högre inferensgenomströmning i ett laboratorietest med GLM 5.2.
What are the key points to validate first?
På Advanced Storage Conference i Shanghai den 22 oktober 2026 uppgav Huawei att KV Cache avlastning gav 7,3 gånger högre inferensgenomströmning i ett laboratorietest med GLM 5.2. KV Cache lagrar beräknade Key och Value data så att modellen kan återanvända dem i stället för att göra om samma beräkningar.
What should I do next in practice?
Huawei beskriver en lösning som samordnar beräkning, lagring och nätverk. Resultaten är företagets egna och det fullständiga testupplägget har inte offentliggjorts, vilket gör det svårt att bedöma hur generella de är....