AnswersPublished18 sources
Huawei hlásí 7,3× vyšší propustnost při inferenci díky KV Cache
Huawei na konferenci Advanced Storage Conference v Šanghaji uvedla, že odložení KV Cache přineslo v laboratorním testu s modelem GLM 5.2 7,3× vyšší propustnost inference. KV Cache uchovává dříve vypočtená data Key a Value, aby je model mohl při generování dalších tokenů znovu použít.
PublikovalUpraveno pomocí GPT-6 LunaObrázky vytvořeny pomocí GPT Image 2
Research answer
Key takeaways
- Huawei na konferenci Advanced Storage Conference v Šanghaji uvedla, že odložení KV Cache přineslo v laboratorním testu s modelem GLM 5.2 7,3× vyšší propustnost inference.
- KV Cache uchovává dříve vypočtená data Key a Value, aby je model mohl při generování dalších tokenů znovu použít.
- Jde o výsledky zveřejněné společností Huawei, nikoli o nezávisle ověřený benchmark.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What storage-network convergence approach did Huawei present at the ODCC-organized Advanced Storage Conference in Shanghai on October 22, 20. Article summary: Huawei presented storage–network convergence as a way to reduce the cost of moving KV Cache between compute, storage, and network during agentic AI inference at the October 22, 2026 ASC session in Shanghai; ODCC organize. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
Huawei na konferenci Advanced Storage Conference (ASC) v Šanghaji představila návrh, který má zmírnit úzké hrdlo při práci s KV Cache: místo řešení samotné kapacity paměti chce lépe sladit výpočetní čipy, úložiště a síť. Firma uvedla, že v laboratorním testu s modelem GLM-5.2 dosáhla po odložení KV Cache 7,3× vyšší propustnosti inference než u konvenčního paměťového řešení. Po přidání koordinovaného plánování I/O úložiště a sítě podle ní efektivita vzrostla ještě o 20 %.5
8
Proč se z KV Cache stává problém pro infrastrukturu
Při generování odpovědi model postupně zpracovává tokeny a vytváří mezivýsledky označované jako Key a Value. KV Cache je uchovává, aby je model mohl při tvorbě dalších tokenů znovu použít, místo aby opakoval výpočty.47
48
Čím delší je kontext, tím více těchto dat může připadat na jeden požadavek. U vícekolových konverzací navíc může být potřeba uchovávat a znovu využívat dřívější stav rozhovoru. Když se cache rozprostře mezi více uzlů, její přesun mezi výpočetními prostředky, úložištěm a sítí zvyšuje provoz i tlak na dostupnou paměť. Podle popisu prezentace Huawei se součet cache jednotlivých požadavků, trvale uložených dat a provozu mezi uzly může v celém inferenčním clusteru blížit petabajtovému měřítku.5
Huawei popisuje tři hlavní překážky: omezenou kapacitu I/O na straně výpočetních čipů, prodlevy při přenosu dat mezi jednotlivými vrstvami a nedostatek IOPS — tedy operací vstupu a výstupu za sekundu — pro efektivní obsluhu velkého množství požadavků na cache.5
Propojení výpočtu, úložiště a sítě
Huawei svůj přístup nestaví jen na přesunutí dat do větší paměti. Podle popisu konference zahrnuje cestu, při níž mohou procesory přímo zahajovat I/O operace s cache: od přístupu přes AI CPU a vektorová jádra až po jemněji řízené operace na úrovni SIMT. Součástí širšího návrhu je také koordinace úložiště a sítě.5
Právě s těmito kroky firma spojuje zveřejněná čísla: nejprve přímé odkládání KV Cache a poté koordinované plánování I/O úložiště a sítě. Veřejně dostupné zprávy ale nepopisují celý návrh ani nepotvrzují, že konkrétní konfigurace plánování HCF (Hyper-Converged Fabric) sama o sobě vedla k uvedeným výsledkům. Čísla je proto vhodné chápat jako výsledky konkrétního laboratorního scénáře, nikoli jako úplný veřejný popis architektury.5
7
Co Huawei naměřila — a co nevíme
V testu s modelem GLM-5.2 mělo přímé odkládání KV Cache přinést 7,3× vyšší propustnost inference oproti běžnému přístupu založenému na paměti. Po přidání koordinovaného I/O plánování úložiště a sítě Huawei uvedla další 20% zlepšení efektivity inference.5
K výsledkům je však namístě přistupovat obezřetně. Huawei nezveřejnila úplnou konfiguraci testu, takže zvenčí nelze posoudit všechny podmínky, použitou referenční variantu ani přesný přínos jednotlivých částí návrhu. Dostupné zprávy navíc nedokládají samostatné tvrzení o více než 30% zvýšení výkonu I/O úložiště. Tuto hodnotu proto nelze považovat za ověřenou.5
7
Říjnové výsledky navazují na dřívější směr
Říjnová prezentace přišla po zářijovém představení vylepšeného řešení Stellar AI Fabric na akci HUAWEI CONNECT. Zářijové materiály Huawei představily také OceanStor M900 Context Memory Storage, úložiště určené k rozšíření KV Cache za hranice paměti přímo na čipu a DRAM do sdíleného, víceúrovňového fondu pro AI inferenci.10
15
16
Říjnová čísla tak doplňují dříve představený směr o výkonnostní tvrzení. Dostupné zdroje ale nepotvrzují, že všechny technické prvky popsané v říjnu byly totožné se zářijovým návrhem, ani že na konferenci ASC došlo k samostatnému uvedení nového produktu.5
10
16
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Huawei hlásí 7,3× vyšší propustnost při inferenci díky KV Cache"?
Huawei na konferenci Advanced Storage Conference v Šanghaji uvedla, že odložení KV Cache přineslo v laboratorním testu s modelem GLM 5.2 7,3× vyšší propustnost inference.
What are the key points to validate first?
Huawei na konferenci Advanced Storage Conference v Šanghaji uvedla, že odložení KV Cache přineslo v laboratorním testu s modelem GLM 5.2 7,3× vyšší propustnost inference. KV Cache uchovává dříve vypočtená data Key a Value, aby je model mohl při generování dalších tokenů znovu použít.
What should I do next in practice?
Jde o výsledky zveřejněné společností Huawei, nikoli o nezávisle ověřený benchmark.