華為在 HUAWEI CONNECT 2026 發表 OceanStor M900 AI 記憶儲存(Context Memory Storage),瞄準超大規模資料中心的 AI 推論需求。它的定位並非取代加速器上的 HBM 或 DRAM,而是為 SuperPoD 增設可共享、可擴展的上下文記憶層:當超長提示詞與多步驟 Agentic AI 任務使 KV Cache 成為瓶頸時,系統可把更多上下文保存並重複利用。
2
23
為何需要另一層 KV Cache?
大型語言模型進行推論時,KV Cache 會保存已處理 token 的中間狀態。當對話進入下一輪,或 AI Agent 在多個步驟中反覆使用相同或相近的上下文時,重用這些快取可減少重算。
華為認為,僅依靠晶片內記憶體與 DRAM,難以經濟地承載超長上下文視窗與多輪推論。OceanStor M900 透過 UnifiedBus(靈衢/Lingqu),建立具「一跳直通」能力的 PB 級全域多層 KV Cache,並把快取層級由加速器記憶體、DRAM 延伸到 SSD。
2
26
換句話說,M900 的重點是讓原本必須停留在昂貴高速記憶體中的大量上下文,能夠被分層保存、共享與再利用;成效則取決於部署端如何排程、取回及管理這些 KV Cache,以及實際請求的組成。
官方容量主張:每叢集最高 64PB
華為表示,單一 M900 叢集可提供最高 64PB 的 KV Cache,並可讓每個 NPU 可使用的 KV Cache 容量,從 GB 級提升至 TB 級,以提高長上下文請求的快取命中率。
2
26
這是 SuperPoD 層級的共享記憶體架構,不是直接增加單一晶片的本地 HBM 容量。因此,實際效益不只看總容量,也取決於軟體能否有效把快取資料放置到合適層級,並在需要時快速重用。
架構:原生 KV 語意與 NPU 直連 SSD
華為稱,M900 採用整合 CPU、網路控制器與 NAND 控制器的「三芯合一」架構,提供原生 KV 語意;NPU 可一跳直連 SSD,避免協定轉換與 CPU 轉送。
20
26
華為公布的主要效能指標包括:
- 約 60 微秒存取延遲;
- 單一叢集最高 40TB/s 聚合存取頻寬;
- 相較業界方案,頻寬最高提升 1.5 倍,為華為的官方說法。
26
這些數字目前均屬供應商主張。公告沒有完整交代測試模型、併發程度、快取命中率、叢集設定與比較方法,因此仍需以具代表性的實際生產工作負載進行獨立基準測試,才能評估其普遍適用性。
Token 吞吐與 SSD 耐久度:還需要更多測試細節
在典型 AI 程式設計推論情境中,華為宣稱 M900 可達成 token 吞吐量提升一倍,並將 首個 token 時間(TTFT)減半。
14 不過,官方未完整公開基準系統與工作負載細節,這些數據不足以直接推論至所有模型、推論框架或使用情境。
在儲存耐久度方面,華為提出 KV-aware adaptive storage 機制,依快取資料的價值與生命週期選擇合適儲存媒介。公司宣稱,搭配混合媒介與最佳化保留演算法,可支援最高 24 DWPD,並讓 SSD 讀寫壽命提升約 16 倍。
16
18
同樣地,SSD 實際耐久度仍須視寫入型態、快取淘汰政策及營運環境而定,不能僅以官方峰值主張判斷。
M900 在 SuperPoD 堆疊中的角色
OceanStor M900 不只是獨立的儲存產品,也反映華為對 AI 基礎設施的架構方向:從以算力為核心,轉向運算、網路與儲存協同設計。華為將 UnifiedBus 描述為連接叢集與 SuperPoD 的互連架構,而 M900 則是其中的儲存與上下文記憶層。
23
整體分工可概括為:
- Ascend 加速器:提供模型運算能力;
- UnifiedBus/Lingqu:負責互連與資源共享;
- OceanStor M900:提供 PB 級、持久化且共享的 KV Cache。
因此,M900 不會自行增加模型運算能力,也不取代加速器或高速互連網路。它承諾解決的是另一個愈來愈重要的問題:當超長上下文與反覆執行的 Agentic AI 步驟讓 KV Cache 壓力急升時,如何讓更多上下文以較可擴展的方式保存、共享與重用。
2
23