答案已发布15 来源
华为OceanStor M900如何突破AI推理的KV缓存容量瓶颈？
华为称，OceanStor M900通过灵衢互联，将超节点的KV缓存从片上存储和内存扩展至共享SSD层，单集群容量最高可达64 PB。[8][10] “单NPU可用缓存达到TB级”指可访问共享的分级容量，并非每颗NPU新增了TB级片上存储。[8][10] 60微秒访问时延、40 TB/s集群聚合带宽及推理提速均为华为公布的数据，仍需在实际负载下独立验证。[8][14]
发布者使用 GPT-6 Sol 编辑图片由 GPT Image 2 生成
研究答案
要点
- 华为称，OceanStor M900通过灵衢互联，将超节点的KV缓存从片上存储和内存扩展至共享SSD层，单集群容量最高可达64 PB。[8][10]
- “单NPU可用缓存达到TB级”指可访问共享的分级容量，并非每颗NPU新增了TB级片上存储。[8][10]
- 60微秒访问时延、40 TB/s集群聚合带宽及推理提速均为华为公布的数据，仍需在实际负载下独立验证。[8][14]
AI 提示
openai.comCreate a landscape editorial hero image for this Studio Global article: How does Huawei’s OceanStor M900 AI memory storage address the KV Cache memory wall in hyperscale, long-context and agentic inference SuperP. Article summary: Huawei positions OceanStor M900 as a shared, SSD-backed **KV-cache tier** for SuperPoD inference, not as a replacement for the NPU’s fast memory. Its aim is to keep and reuse more context across long-running and agentic . Topic tags: general, general web. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clic
长上下文对话和智能体任务会在推理过程中不断产生键值缓存（KV Cache）。这些缓存可用于复用已有上下文，但当其规模超过超节点（SuperPoD）中靠近处理器的存储容量时，就需要在容量与访问速度之间取舍。华为OceanStor M900的思路，是在片上存储和内存之外增加一个可共享的SSD缓存层，尽可能留住可复用的上下文；它并不是要用SSD取代NPU（神经网络处理器）旁边最快的存储。8
10
12
64 PB意味着什么？
华为称，M900依托灵衢（UnifiedBus）互联，在超节点内池化KV缓存，并在片上存储、内存（DRAM）和SSD之间进行分级管理。其公布的单集群最高64 PB和单NPU可用KV缓存从GB级升至TB级，说的是共享、分级存储带来的可访问容量，不是每颗NPU的物理片上存储增加到了TB级。8
10
这也界定了M900的角色：它是面向推理上下文的存储系统，配合负责计算的NPU，并依赖灵衢提供池化访问；它既不是新的计算芯片，也不能替代互联网络。华为将其定位于智能体密集、长上下文任务，行业报道则提到Atlas 960超节点是其目标部署场景。12
6
从NPU访问SSD，华为宣称能快多少？
华为称，M900将CPU、网络控制和NAND控制功能集成，使NPU能够“一跳”访问SSD，避开CPU转发和协议转换。按华为数据，访问时延缩短90%，降至60微秒；单集群聚合访问带宽为40 TB/s，是其所对比方案的1.5倍。这里的40 TB/s是集群合计值，不能理解为每颗NPU都能获得这一带宽。8
在华为所称的“典型AI编程”场景中，推理集群的Token吞吐率翻倍、首Token时延减半。但这是特定测试场景下的厂商主张，不能直接推及所有智能体或长上下文请求。8
14
SSD寿命与成本：承诺还要看长期运行
SSD承接更多缓存访问后，写入磨损也成为问题。华为称，M900的KV-Aware技术会预测缓存数据的生命周期，并安排数据在不同存储介质上的位置；其公布的指标包括最高每日24次整盘写入（DWPD）、SSD介质寿命提升16倍，以及支持三年稳定运行。华为认为，减少介质更换和运维投入有助于降低推理成本，但现有材料没有给出经实测验证的单位Token成本节省幅度。8
因此，“能容纳更多缓存”与“已证明大规模推理更快、更便宜”是两回事。要判断M900的实际价值，还需要独立测试真实工作负载下的可用容量与缓存命中率、并发争用时的时延和持续带宽、相对于明确基线的Token性能，以及长期SSD磨损和总体成本。目前可见的第三方报道主要转述华为公布的性能数字，并未独立验证这些结果。6
14
Studio Global AI
继续你的研究
此页面包含一个有来源支持的答案，您可以在 Studio Global 内继续。
人们还问
“华为OceanStor M900如何突破AI推理的KV缓存容量瓶颈？”的简短答案是什么？
华为称，OceanStor M900通过灵衢互联，将超节点的KV缓存从片上存储和内存扩展至共享SSD层，单集群容量最高可达64 PB。[8][10]
首先要验证的关键点是什么？
华为称，OceanStor M900通过灵衢互联，将超节点的KV缓存从片上存储和内存扩展至共享SSD层，单集群容量最高可达64 PB。[8][10] “单NPU可用缓存达到TB级”指可访问共享的分级容量，并非每颗NPU新增了TB级片上存储。[8][10]
接下来在实践中我应该做什么？
60微秒访问时延、40 TB/s集群聚合带宽及推理提速均为华为公布的数据，仍需在实际负载下独立验证。[8][14]