AntwortenVeröffentlicht18 Quellen
Kann ausgelagerter KV-Cache die KI-Inferenz beschleunigen? Huawei nennt 7,3-fachen Durchsatz
Huawei zufolge erreichte die KV Cache Auslagerung in einem GLM 5.2 Labortest den 7,3 fachen Inferenzdurchsatz eines herkömmlichen speicherbasierten Ansatzes. Der KV Cache speichert bereits berechnete Key und Value Daten, damit ein Modell sie bei der nächsten Token Erzeugung wiederverwenden kann.
Veröffentlicht vonBearbeitet mit GPT-6 LunaBilder erstellt mit GPT Image 2
Forschungsantwort
Wichtige Erkenntnisse
- Huawei zufolge erreichte die KV Cache Auslagerung in einem GLM 5.2 Labortest den 7,3 fachen Inferenzdurchsatz eines herkömmlichen speicherbasierten Ansatzes.
- Der KV Cache speichert bereits berechnete Key und Value Daten, damit ein Modell sie bei der nächsten Token Erzeugung wiederverwenden kann.
- Huawei beschreibt einen Ansatz, der Rechenleistung, Speicher und Netzwerk verbindet.
KI-Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What storage-network convergence approach did Huawei present at the ODCC-organized Advanced Storage Conference in Shanghai on October 22, 20. Article summary: Huawei presented storage–network convergence as a way to reduce the cost of moving KV Cache between compute, storage, and network during agentic AI inference at the October 22, 2026 ASC session in Shanghai; ODCC organize. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
Auf der Advanced Storage Conference (ASC) in Shanghai stellte Huawei am 22. Oktober 2026 einen Ansatz vor, der Engpässe beim KV-Cache durch ein abgestimmtes Zusammenspiel von Speicher und Netzwerk mindern soll. Das Unternehmen meldete für ein GLM-5.2-Laborszenario nach der Auslagerung des KV-Caches den 7,3-fachen Inferenzdurchsatz. Mit einer zusätzlich abgestimmten I/O-Steuerung für Speicher und Netzwerk sei die Effizienz nochmals um 20 Prozent gestiegen. Die vollständige Testkonfiguration legte Huawei nicht offen.5
8
Warum der KV-Cache zur Infrastrukturfrage wird
Während der Inferenz – also wenn ein Modell Antworten erzeugt – berechnet es sogenannte Key- und Value-Daten für die verarbeiteten Tokens. Der KV-Cache hält diese Zwischenergebnisse fest, damit das Modell sie bei der weiteren Ausgabe wiederverwenden kann, statt dieselben Berechnungen erneut auszuführen.47
48
Je länger der Kontext, desto größer wird der Cache einer einzelnen Anfrage. Bei mehrstufigen Gesprächen können Systeme zudem frühere Gesprächszustände speichern oder erneut nutzen. Verteilen sich Anfragen und Cache-Daten über einen Cluster, müssen Informationen zwischen Rechenleistung, Speicher und Netzwerk bewegt werden. Das kann den Datenverkehr erhöhen und den verfügbaren Speicher stärker beanspruchen. Laut der Berichterstattung zum Huawei-Auftritt summieren sich der Cache pro Anfrage, die gleichzeitig vorgehaltenen Daten und der Verkehr zwischen Knoten zu einer Gesamtmenge, die in Inferenzclustern in Richtung Petabyte wachsen kann.5
Huawei fasste die daraus entstehenden Engpässe als drei „Wände“ zusammen: begrenzte I/O-Leistung auf der Rechenseite, Verzögerungen beim Datentransfer zwischen Ebenen und zu wenig IOPS, um viele Cache-Zugriffe effizient zu bedienen.5
Ein Ansatz über Rechenleistung, Speicher und Netzwerk
Huawei behandelt den KV-Cache nach eigener Darstellung nicht nur als Kapazitätsfrage. Der Ansatz umfasst Beschleuniger, Speicher und Netzwerk. Die Konferenzberichterstattung beschreibt auf der Rechenseite einen Pfad, bei dem Prozessoren I/O-Zugriffe auf den Cache direkt anstoßen können sollen – von Zugriffen über AI-CPU und Vektorkerne bis hin zu fein aufgelöstem I/O auf SIMT-Ebene. Auch die Abstimmung von Speicher und Netzwerk sei Teil des Gesamtkonzepts.5
Huawei verknüpft die Leistungsangaben mit zwei Schritten: der direkten Auslagerung des KV-Caches und einer darauf aufbauenden, koordinierten I/O-Steuerung von Speicher und Netzwerk. Die verfügbaren Berichte enthalten jedoch nicht genügend technische Details, um jedes Element der Umsetzung zu prüfen oder zu bestätigen, dass eine bestimmte Konfiguration von Hyper-Converged Fabric (HCF) die gemeldeten Verbesserungen verursacht hat. Die Angaben sind daher als Ergebnisse des von Huawei beschriebenen Laborszenarios zu lesen – nicht als vollständige öffentliche Architekturbeschreibung.5
7
Was Huawei gemeldet hat – und was offenbleibt
Im GLM-5.2-Labortest habe die direkte Auslagerung des KV-Caches den Inferenzdurchsatz auf das 7,3-Fache eines herkömmlichen speicherbasierten Ansatzes gesteigert. Mit zusätzlicher, abgestimmter I/O-Steuerung für Speicher und Netzwerk sei die Inferenz-Effizienz um weitere 20 Prozent gestiegen.5
Diese Werte sind mit Vorsicht zu bewerten. Huawei veröffentlichte weder die vollständige Testkonfiguration noch genügend Informationen, um Arbeitslast, Vergleichsbasis und den jeweiligen Beitrag der einzelnen Komponenten unabhängig beurteilen zu können. Auch die separate Angabe, die Speicher-I/O-Leistung liege um mehr als 30 Prozent höher, lässt sich durch die verfügbaren Konferenzberichte nicht belegen und wird hier deshalb nicht als bestätigt gewertet.5
7
Oktober-Messwerte als Teil einer größeren Speicherstrategie
Der Auftritt im Oktober folgte auf die Vorstellung einer aktualisierten Stellar-AI-Fabric-Lösung bei HUAWEI CONNECT im September. Die Berichte zur Konferenz im Oktober ordnen den Auftritt als Veröffentlichung von Messwerten zur KV-Cache-Auslagerung ein. Huawei hatte im September außerdem den OceanStor M900 Context Memory Storage vorgestellt: eine Lösung, die den KV-Cache für KI-Inferenz über den On-Chip-Speicher und DRAM hinaus in einen gemeinsam genutzten, mehrstufigen Pool erweitern soll.10
15
16
Der Unterschied ist wichtig: Die Oktober-Angaben ergänzen Huaweis bestehende Speicher- und Netzwerkstrategie um Leistungswerte. Die verfügbaren Quellen belegen aber nicht, dass jedes im Oktober beschriebene technische Detail mit dem im September vorgestellten Design identisch war. Ebenso dokumentieren sie keinen separaten Produktstart auf der Konferenz im Oktober.5
10
16
Studio Global AI
Setzen Sie Ihre Recherche fort
Diese Seite enthält eine quellengestützte Antwort, die Sie in Studio Global fortsetzen können.
Die Leute fragen auch
Wie lautet die kurze Antwort auf „Kann ausgelagerter KV-Cache die KI-Inferenz beschleunigen? Huawei nennt 7,3-fachen Durchsatz“?
Huawei zufolge erreichte die KV Cache Auslagerung in einem GLM 5.2 Labortest den 7,3 fachen Inferenzdurchsatz eines herkömmlichen speicherbasierten Ansatzes.
Was sind die wichtigsten Punkte, die zuerst validiert werden müssen?
Huawei zufolge erreichte die KV Cache Auslagerung in einem GLM 5.2 Labortest den 7,3 fachen Inferenzdurchsatz eines herkömmlichen speicherbasierten Ansatzes. Der KV Cache speichert bereits berechnete Key und Value Daten, damit ein Modell sie bei der nächsten Token Erzeugung wiederverwenden kann.
Was soll ich als nächstes in der Praxis tun?
Huawei beschreibt einen Ansatz, der Rechenleistung, Speicher und Netzwerk verbindet.