答案已發布18 來源
華為稱卸載 KV Cache 推理吞吐增 7.3 倍：測試細節仍未公開
華為在 2026 年 10 月 22 日的先進存力大會稱，GLM 5.2 實驗室測試中，直接卸載 KV Cache 令推理吞吐量達傳統記憶體方案的 7.3 倍；加入儲存與網絡協同 I/O 調度後，效率再提升 20%。 KV Cache 會保存模型已計算的 Key、Value 資料，供之後生成內容時重用。長上下文和多輪對話會令單次請求、整個集群的常駐快取，以及跨節點資料流量一同增加。
發布者使用 GPT-6 Luna 編輯圖片由 GPT Image 2 生成
研究答案
重點
- 華為在 2026 年 10 月 22 日的先進存力大會稱，GLM 5.2 實驗室測試中，直接卸載 KV Cache 令推理吞吐量達傳統記憶體方案的 7.3 倍；加入儲存與網絡協同 I/O 調度後，效率再提升 20%。
- KV Cache 會保存模型已計算的 Key、Value 資料，供之後生成內容時重用。長上下文和多輪對話會令單次請求、整個集群的常駐快取，以及跨節點資料流量一同增加。
- 華為的方向是讓加速器直接讀寫快取，並協調儲存與網絡；不過完整測試配置未公開，這些數字仍屬華為公布的特定實驗室結果。
AI 提示
openai.comCreate a landscape editorial hero image for this Studio Global article: What storage-network convergence approach did Huawei present at the ODCC-organized Advanced Storage Conference in Shanghai on October 22, 20. Article summary: Huawei presented storage–network convergence as a way to reduce the cost of moving KV Cache between compute, storage, and network during agentic AI inference at the October 22, 2026 ASC session in Shanghai; ODCC organize. Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
在 2026 年 10 月 22 日於上海舉行的先進存力大會（Advanced Storage Conference，ASC）上，華為提出以計算、儲存和網絡協同，紓緩 AI 推理時 KV Cache 帶來的瓶頸。華為稱，在 GLM-5.2 實驗室測試中，直接卸載 KV Cache 後，推理吞吐量達傳統記憶體方案的 7.3 倍；再加入儲存與網絡協同 I/O 調度，推理效率進一步提升 20%。不過，華為未有公開完整測試配置。5
8
KV Cache 點解會變成基建問題？
模型推理時，會逐個處理詞元（token），並計算注意力機制所需的 Key 和 Value 資料。KV Cache 會將已計算的資料保存下來，讓模型生成後續內容時可以重用，毋須重複計算。47
48
上下文愈長，快取通常愈大；多輪對話亦可能需要保留或重用之前的對話狀態。當請求和快取分散在集群不同位置，資料要在計算、儲存和網絡之間傳送，便會增加網絡流量，亦會令記憶體資源更吃緊。華為在大會相關報道中指出，單次請求的快取、集群常駐快取，以及跨節點流量疊加，正推高推理集群的 KV Cache 規模，甚至邁向 PB 級。5
華為將相關限制概括為三道「牆」：計算端 I/O 能力有限、資料在不同層之間傳送時出現時延，以及儲存端 IOPS（每秒輸入／輸出操作次數）不足，難以有效應付大量快取操作。5
將加速器、儲存和網絡一併考慮
華為提出的方向不只着眼於增加快取容量，而是由加速器、儲存到網絡一併處理。大會報道提到，計算端可由處理器直接發起快取 I/O，從 AI CPU 和向量核心存取，逐步走向更細粒度的 SIMT 級 I/O；儲存端和網絡協同亦是整體設計的一部分。5
華為公布的兩組效能數字，分別對應直接卸載 KV Cache，以及在此基礎上加入儲存與網絡協同 I/O 調度。現有大會報道未有提供足夠細節，讓外界核實每項實作安排，或確認某個特定的 Hyper-Converged Fabric（HCF，超融合網絡）調度配置是否帶來相關增幅。因此，較穩妥的理解是：這些是華為所述實驗室情境下的測試結果，並非完整公開的架構規格。5
7
7.3 倍和再升 20%，要留意甚麼？
華為稱，在 GLM-5.2 實驗室測試中，直接卸載 KV Cache 後，推理吞吐量達傳統記憶體方案的 7.3 倍；再加入儲存與網絡協同 I/O 調度後，推理效率進一步提升 20%。5
這些數字宜審慎看待。華為未有公布完整測試配置，外界因而難以評估測試工作負載、比較基準，以及不同設計部分各自帶來多少影響。至於儲存 I/O 效能提升超過 30% 的說法，現有大會報道未能支持核實，本文不會將它視為已證實結果。5
7
10 月公布測試數字，延續 9 月的儲存方向
這次 10 月的分享，接續華為在 9 月 HUAWEI CONNECT 公布升級版 Stellar AI Fabric。大會相關報道將 10 月的內容描述為公布 KV Cache 卸載的測試數字；華為 9 月的資料亦介紹 OceanStor M900 Context Memory Storage，定位是把 AI 推理所用的 KV Cache，由晶片內存和 DRAM 擴展至共享、分層的儲存池。10
15
16
兩者要分開看：10 月的數字為華為既有的儲存與網絡方向補上效能主張，但現有資料未能證明 10 月提及的每項技術細節，與 9 月設計完全相同；亦沒有記錄顯示華為在 10 月的大會另行推出新產品。5
10
16
Studio Global AI
繼續你的研究
此頁麵包含一個有來源支援的答案，您可以在 Studio Global 內繼續。
人們還問
「華為稱卸載 KV Cache 推理吞吐增 7.3 倍：測試細節仍未公開」的簡短答案是什麼？
華為在 2026 年 10 月 22 日的先進存力大會稱，GLM 5.2 實驗室測試中，直接卸載 KV Cache 令推理吞吐量達傳統記憶體方案的 7.3 倍；加入儲存與網絡協同 I/O 調度後，效率再提升 20%。
首先要驗證的關鍵點是什麼？
華為在 2026 年 10 月 22 日的先進存力大會稱，GLM 5.2 實驗室測試中，直接卸載 KV Cache 令推理吞吐量達傳統記憶體方案的 7.3 倍；加入儲存與網絡協同 I/O 調度後，效率再提升 20%。 KV Cache 會保存模型已計算的 Key、Value 資料，供之後生成內容時重用。長上下文和多輪對話會令單次請求、整個集群的常駐快取，以及跨節點資料流量一同增加。
接下來在實務上我該做什麼？
華為的方向是讓加速器直接讀寫快取，並協調儲存與網絡；不過完整測試配置未公開，這些數字仍屬華為公布的特定實驗室結果。