华为 OceanStor M900：64 PB 共享 KV 缓存如何服务 AI 推理？

华为在 2026 年华为全联接大会推出的 OceanStor M900，是面向超大规模数据中心、为超节点（SuperPoD）AI 推理提供上下文缓存的存储系统。它要解决的不是模型如何“记住”对话，而是推理集群如何保存并复用已经计算过的上下文。随着提示词变长、多轮对话和智能体任务增多，这类缓存越来越难全部放在靠近 NPU（神经网络处理器）的片上存储和内存中。19

64 PB 存在哪里？

模型处理提示词时会生成键值缓存，即 KV 缓存。如果新请求与已有请求共享可复用的前缀，推理系统就可能读取缓存，省去部分重复计算。OceanStor M900 借助灵衢 UnifiedBus，将缓存组织成横跨片上存储、DRAM 内存和 SSD 的多级共享池。136

华为称，单个集群可提供 64 PB 的 KV 缓存容量，单颗 NPU 可访问的缓存规模也由 GB 级提高到 TB 级。这里的 64 PB 是集群共享容量，不是装在一颗 NPU 里的内存。更大的缓存池能保留更多上下文，但实际收益仍取决于请求是否有足够多可复用的内容。3617

SSD 如何跟上推理速度？

容量大还不够：如果读取 SSD 太慢，缓存命中也未必能改善响应。华为描述的方案将 CPU、网络控制器和 NAND 控制器功能集成，让超节点内的 NPU 到 SSD 实现“一跳直通”，减少传统路径中的协议转换和 CPU 转发环节。华为公布的指标是约 60 微秒访问时延、单集群 40 TB/s 聚合带宽；它们是所述架构和系统的指标，并非每个请求的速度保证。362832

加速与降本，哪些仍待验证？

当请求能够命中缓存、跳过重复计算时，首个 token 有望更快生成，集群也可能腾出算力处理更多 token。华为称，在典型 AI 编程场景下，该架构使推理集群的 token 吞吐量翻倍、首 token 生成时间减半。这是特定负载下的宣称，不能直接推广到所有模型和任务。2833

华为还提出按 KV 缓存的使用情况安排数据在不同介质上的存放与保留时间，并称 SSD 耐久度最高可达每天 24 次全盘写入（DWPD）、介质寿命提升 16 倍，目标是保障三年稳定运行。其降本逻辑是减少重复计算及存储介质更换，进而降低每个 token 的推理成本。不过，现有资料尚未独立证实这些性能、寿命及成本收益已在实际部署的超节点中实现。6833