答案已發布15 個來源
OceanStor M900 把 KV 快取延伸至 SSD：容量變大，速度仍待驗證
華為稱 M900 透過靈衢互連，把 SuperPoD 的 KV 快取擴展至共享 SSD 層，單一叢集容量最高 64 PB。[8][10] 「每顆 NPU 可用 TB 級快取」指可存取的共享、分層容量，不代表晶片內記憶體增加到 TB 級。[8][10] 60 微秒存取延遲、Token 吞吐量翻倍及 SSD 壽命提升等數字，仍是華為的宣稱，有待獨立測試。[8][14]
發布者使用 GPT-6 Sol 編輯圖片由 GPT Image 2 生成
研究答案
重點整理
- 華為稱 M900 透過靈衢互連，把 SuperPoD 的 KV 快取擴展至共享 SSD 層，單一叢集容量最高 64 PB。[8][10]
- 「每顆 NPU 可用 TB 級快取」指可存取的共享、分層容量，不代表晶片內記憶體增加到 TB 級。[8][10]
- 60 微秒存取延遲、Token 吞吐量翻倍及 SSD 壽命提升等數字，仍是華為的宣稱，有待獨立測試。[8][14]
AI 提示詞
openai.comCreate a landscape editorial hero image for this Studio Global article: How does Huawei’s OceanStor M900 AI memory storage address the KV Cache memory wall in hyperscale, long-context and agentic inference SuperP. Article summary: Huawei positions OceanStor M900 as a shared, SSD-backed **KV-cache tier** for SuperPoD inference, not as a replacement for the NPU’s fast memory. Its aim is to keep and reuse more context across long-running and agentic . Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
AI 處理超長上下文或連續執行多步任務時，推論過程產生的鍵值快取（KV cache）可能超過 SuperPoD 運算節點附近記憶體所能容納的量。華為 OceanStor M900 的做法，是在晶片內記憶體與 DRAM 之外，加入可共享的 SSD 快取層，讓更多既有上下文得以保存及重用；SSD 並非用來取代 NPU 最快的記憶體。8
10
12
64 PB 是共享容量，不是每顆 NPU 的實體記憶體
華為表示，靈衢（Lingqu／UnifiedBus）互連技術可將 SuperPoD 的 KV 快取匯集共享，並在晶片內記憶體、DRAM 與 SSD 之間分層配置。官方宣稱單一叢集最高可提供 64 PB 容量，每顆 NPU「可用」的 KV 快取容量則由 GB 級提高至 TB 級。這裡的 TB 級指 NPU 能存取共享的分層儲存空間，不是每顆 NPU 新增了 TB 級晶片內記憶體。8
10
因此，M900 的定位是面向推論任務的上下文儲存系統，而非新的運算晶片或互連技術替代品。它配合 NPU 運作，也仰賴靈衢提供共享存取。華為稱其針對大量使用 AI 代理、需要較長上下文的工作負載設計；產業媒體則指出 Atlas 960 SuperPoD 是其目標應用環境。12
6
一跳存取能帶來多少效益？
華為稱，M900 整合 CPU、網路控制器與 NAND 控制器相關功能，使 NPU 能以一跳路徑存取 SSD，避開 CPU 轉發及協定轉換。按其公布的數字，存取延遲降低 90%，至 60 微秒；單一叢集的聚合頻寬為 40 TB/s，是其所比較方案的 1.5 倍。40 TB/s 是整個叢集的數字，並非每顆 NPU 都能取得的保證頻寬。8
在華為所稱的「典型 AI 程式設計」情境中，推論叢集的 Token 吞吐量可翻倍，產生首個 Token 所需時間則可減半。這些結果有特定工作負載前提，不能直接推論所有長上下文或代理任務都會獲得相同加速。8
14
SSD 耐用度與成本，還要看實際部署
針對快取資料的存放位置，華為表示 KV-Aware 排程技術可預測資料生命週期，並據此管理不同儲存媒介。官方宣稱系統最高支援每日全碟寫入 24 次（24 DWPD）、SSD 媒介壽命提升 16 倍，以及三年穩定運作。華為認為，減少換碟和維運可降低推論成本；但現有資料並未量化證實每個 Token 的成本實際下降多少。8
評估 M900 時，應分清楚讓更多快取處於可存取範圍內，與已證實大規模推論更快、更便宜是兩件事。仍需獨立測試實際工作負載下的可用容量與快取命中率、系統繁忙時的延遲與持續頻寬、相對於明確基準的 Token 效能，以及長期 SSD 損耗和總成本。目前可見的第三方報導主要轉述華為公布的效能數字，並未提供獨立驗證結果。6
14
Studio Global AI
繼續深入研究
這個頁面包含附來源佐證的答案，你可以在 Studio Global 內繼續追問。
大家也會問
「OceanStor M900 把 KV 快取延伸至 SSD：容量變大，速度仍待驗證」的簡短答案是什麼？
華為稱 M900 透過靈衢互連，把 SuperPoD 的 KV 快取擴展至共享 SSD 層，單一叢集容量最高 64 PB。[8][10]
最值得優先驗證的重點是什麼？
華為稱 M900 透過靈衢互連，把 SuperPoD 的 KV 快取擴展至共享 SSD 層，單一叢集容量最高 64 PB。[8][10] 「每顆 NPU 可用 TB 級快取」指可存取的共享、分層容量，不代表晶片內記憶體增加到 TB 級。[8][10]
接下來在實務上該怎麼做？
60 微秒存取延遲、Token 吞吐量翻倍及 SSD 壽命提升等數字，仍是華為的宣稱，有待獨立測試。[8][14]