华为发布了 OceanStor M900 AI 记忆存储，目标是为超大规模数据中心的 AI 推理提供一个可共享、可扩展的“上下文记忆层”。它并不用于替代 NPU/AI 加速器上的 HBM，也不是替代主机 DRAM；其定位是在 SuperPoD（超节点）中，为不断膨胀的 KV Cache 增加 PB 级的共享容量和持久化分层能力。223

AI 推理为何需要单独的“上下文记忆层”？

大语言模型在推理时会生成并保留 KV Cache（键值缓存）：它记录已处理 Token 的中间状态，使模型在后续生成、连续对话或重复调用相关上下文时，无需从头计算全部内容。

当应用进入超长上下文、多轮对话和智能体（Agent）多步骤执行阶段，KV Cache 可能很快挤占加速器显存和 DRAM。华为的思路是：不让所有上下文都长期停留在成本更高的 HBM 和 DRAM 中，而是通过灵衢 UnifiedBus 构建全局、多层级 KV Cache，将缓存层延伸到 SSD。226

换句话说，M900 希望让更多上下文能够被保存、共享和复用，从而缓解推理系统的“上下文内存压力”。实际效果则取决于部署软件如何调度、取回与复用缓存，以及业务请求中可复用上下文的比例。

华为的容量目标：单集群最高 64PB

华为称，单个 OceanStor M900 集群最高可提供 64PB KV Cache。公司还表示，每个 NPU 可使用的 KV Cache 容量可从 GB 级提升至 TB 级，以提高长上下文请求的缓存命中率。226

这里的核心是 SuperPoD 级的共享内存空间，而不是单颗芯片本地 HBM 容量的增加。M900 的价值在于把分散在不同层级的上下文状态做成可共享的资源池，并按访问需求分层放置。

架构：原生 KV 语义，NPU 一跳直达 SSD

按照华为的介绍，M900 采用 CPU、网络控制器与 NAND 控制器整合的架构，提供原生 KV 语义；NPU 可通过一跳连接访问 SSD，减少协议转换和 CPU 转发环节。2026

华为公布的性能指标包括：

• 约 60 微秒访问时延；
• 单集群最高 40TB/s 聚合访问带宽；
• 相比行业方案带宽提升 1.5 倍，为华为自身说法。26

这些数字目前属于厂商性能宣称。公开发布信息未完整说明测试模型、并发水平、缓存命中率、集群配置及对比方案的方法，因此仍需要在具有代表性的生产负载下进行独立验证。

Token 吞吐量与 SSD 寿命：宣称值得关注，也要审慎解读

在一个典型的 AI 编程推理场景中，华为称 M900 可实现 Token 吞吐量翻倍，并将 首 Token 时间（TTFT）减半。14 但在缺少基线、模型和工作负载细节的情况下，不能将这一结果直接推广到所有模型与推理软件栈。

华为还提出“KV 感知自适应存储”：根据缓存价值及生命周期决定数据应放置在哪一类介质上。公司宣称，借助混合介质和优化的保留算法，系统最高支持 24 DWPD，SSD 读写寿命可提升约 16 倍。1618

同样，这些耐久性数据还需结合实际写入强度、缓存淘汰策略和运行周期加以验证。

M900 在华为 SuperPoD 体系中的位置

M900 更像是华为 AI 基础设施“算力、网络、存储协同设计”中的一个环节。华为将 UnifiedBus/灵衢描述为连接集群与 SuperPoD 的互连架构，面向智能体应用带来的计算与资源协同需求；M900 则承担其中的存储与上下文缓存层角色。23

可概括为：

• Ascend（昇腾）加速器负责模型计算；
• UnifiedBus/灵衢负责互连与资源共享；
• OceanStor M900提供 PB 级、共享且可持久化的 KV Cache 分层能力。

因此，M900 不会直接增加模型算力，也不取代加速器或高速互连。它试图解决的是另一类瓶颈：当超长上下文和多轮智能体任务使 KV Cache 与计算资源同等关键时，如何让上下文状态以更大规模被保留、调度和复用。223

华为发布了 OceanStor M900 AI 记忆存储，目标是为超大规模数据中心的 AI 推理提供一个可共享、可扩展的“上下文记忆层”。它并不用于替代 NPU/AI 加速器上的 HBM，也不是替代主机 DRAM；其定位是在 SuperPoD（超节点）中，为不断膨胀的 KV Cache 增加 PB 级的共享容量和持久化分层能力。223

AI 推理为何需要单独的“上下文记忆层”？

大语言模型在推理时会生成并保留 KV Cache（键值缓存）：它记录已处理 Token 的中间状态，使模型在后续生成、连续对话或重复调用相关上下文时，无需从头计算全部内容。

当应用进入超长上下文、多轮对话和智能体（Agent）多步骤执行阶段，KV Cache 可能很快挤占加速器显存和 DRAM。华为的思路是：不让所有上下文都长期停留在成本更高的 HBM 和 DRAM 中，而是通过灵衢 UnifiedBus 构建全局、多层级 KV Cache，将缓存层延伸到 SSD。226

换句话说，M900 希望让更多上下文能够被保存、共享和复用，从而缓解推理系统的“上下文内存压力”。实际效果则取决于部署软件如何调度、取回与复用缓存，以及业务请求中可复用上下文的比例。

华为的容量目标：单集群最高 64PB

华为称，单个 OceanStor M900 集群最高可提供 64PB KV Cache。公司还表示，每个 NPU 可使用的 KV Cache 容量可从 GB 级提升至 TB 级，以提高长上下文请求的缓存命中率。226

这里的核心是 SuperPoD 级的共享内存空间，而不是单颗芯片本地 HBM 容量的增加。M900 的价值在于把分散在不同层级的上下文状态做成可共享的资源池，并按访问需求分层放置。

架构：原生 KV 语义，NPU 一跳直达 SSD

按照华为的介绍，M900 采用 CPU、网络控制器与 NAND 控制器整合的架构，提供原生 KV 语义；NPU 可通过一跳连接访问 SSD，减少协议转换和 CPU 转发环节。2026

华为公布的性能指标包括：

• 约 60 微秒访问时延；
• 单集群最高 40TB/s 聚合访问带宽；
• 相比行业方案带宽提升 1.5 倍，为华为自身说法。26

这些数字目前属于厂商性能宣称。公开发布信息未完整说明测试模型、并发水平、缓存命中率、集群配置及对比方案的方法，因此仍需要在具有代表性的生产负载下进行独立验证。

Token 吞吐量与 SSD 寿命：宣称值得关注，也要审慎解读

在一个典型的 AI 编程推理场景中，华为称 M900 可实现 Token 吞吐量翻倍，并将 首 Token 时间（TTFT）减半。14 但在缺少基线、模型和工作负载细节的情况下，不能将这一结果直接推广到所有模型与推理软件栈。

华为还提出“KV 感知自适应存储”：根据缓存价值及生命周期决定数据应放置在哪一类介质上。公司宣称，借助混合介质和优化的保留算法，系统最高支持 24 DWPD，SSD 读写寿命可提升约 16 倍。1618

同样，这些耐久性数据还需结合实际写入强度、缓存淘汰策略和运行周期加以验证。

M900 在华为 SuperPoD 体系中的位置

M900 更像是华为 AI 基础设施“算力、网络、存储协同设计”中的一个环节。华为将 UnifiedBus/灵衢描述为连接集群与 SuperPoD 的互连架构，面向智能体应用带来的计算与资源协同需求；M900 则承担其中的存储与上下文缓存层角色。23

可概括为：

• Ascend（昇腾）加速器负责模型计算；
• UnifiedBus/灵衢负责互连与资源共享；
• OceanStor M900提供 PB 级、共享且可持久化的 KV Cache 分层能力。

因此，M900 不会直接增加模型算力，也不取代加速器或高速互连。它试图解决的是另一类瓶颈：当超长上下文和多轮智能体任务使 KV Cache 与计算资源同等关键时，如何让上下文状态以更大规模被保留、调度和复用。223