寒武纪所谓 DeepSeek-V4.1-Flash 的 Day-0（发布当天）适配，本质上是一项推理软件栈的集成与就绪度成果：模型权重发布后，开发者不必等待一条封闭的、专用的移植路径，即可通过开源 vLLM 推理框架在寒武纪 MLU 加速器上运行。

据寒武纪相关报道，这一链路组合了 NeuWare 运行时、Torch-MLU-Ops 算子支持和优化后的 BangC 内核。13 对部署方来说，价值不只在于“模型能启动”，更在于运行时、框架算子、分布式执行和关键计算热点需要同时可用，才有机会进入可验证、可运维的服务流程。

三层软件栈如何协同

寒武纪披露的适配路径可概括为三层：

• NeuWare：为寒武纪 MLU 加速器提供底层软件运行时。
• Torch-MLU-Ops：为模型组件提供面向 MLU 的算子支持；相关报道提到，它被用于加速模型中的 Engram 和 Compressor 结构。9
• BangC 内核：直接针对 MLU 架构优化性能敏感算子。寒武纪将 BangC 定义为其 BANG 异构并行编程模型的编程语言，可用于编写高性能 MLU 并行程序。18

这意味着，vLLM 的服务路径可以调用面向 MLU 的后端，而不必演变成客户自行维护的私有推理分支。寒武纪还表示，其 vLLM 优化覆盖混合精度与低比特推理、并行优化、大规模专家并行，以及 Prefill—Decode 分离部署等能力。18

为什么这款模型并不好“直接部署”

DeepSeek-V4.1-Flash 是一款支持文本和图像输入的多模态混合专家模型（MoE）。其主干参数量为 5520 亿，另有 1960 亿 Engram 记忆参数，上下文长度最高可达 100 万 token。58

部署时，参数总量并不等于每一步实际计算量。DeepSeek 表示，该模型在处理输入提示词的 Prefill（预填充） 阶段，每个 token 约激活 80 亿参数；在逐 token 输出的 Decode（解码） 阶段，则约激活 160 亿参数。8

这种输入侧与输出侧不对称的激活设计，理论上有助于降低提示词很长的工作负载的计算压力。但实际服务成本仍取决于权重精度、批处理规模、通信开销、显存容量、模型并行方式和请求结构，不能仅根据“激活参数量”下结论。

CED 架构：把长上下文的缓存压力降下来

该模型采用 40 层 因果编码器—解码器（Causal Encoder–Decoder，CED） 架构：前 20 层是因果编码器，后 20 层是解码器。与由每个解码器层独立生成全局键值状态不同，解码器的全局 KV 状态由编码器最终隐藏状态投影得到。58

这项设计直接关系到长上下文推理中的 KV Cache（键值缓存）。模型生成新 token 时，需要保留此前上下文的注意力状态；当上下文变长、并发会话增多时，KV Cache 往往会成为高带宽内存（HBM）消耗的关键瓶颈。

每 token 890 字节：KV Cache 的模型设计数据

DeepSeek 表示，借助 Compressed Sparse Attention 2（CSA2）中的跨层 KV Cache 复用，并叠加 FP4 KV 缓存，其常驻于 HBM 的全局 KV Cache 可降至 每 token 890 字节，约为 DeepSeek-V4-Flash 对应占用的 四分之一。78

其技术资料还称，通过 SWA Bounded Replay，常驻 SSD 或主机内存的持久化 KV Cache 可降至 V4-Flash 的约 八分之一。7

对集群运营者而言，这些数字指向一个重要变化：单个请求所需的缓存状态变少，可能为更多并发会话腾出内存空间，尤其适合长上下文与多模态服务。不过必须区分两类结论：上述数据是 DeepSeek 报告的模型设计指标，并非第三方对寒武纪集群吞吐、时延、稳定性、可用性或单位成本的端到端实测结果。78

推理优化不是单一“跑分”技巧

寒武纪公开的软件资料列举了多项与 vLLM 大型 MoE 服务相关的优化方向。18

• 混合精度与低比特推理：减少权重、激活值的存储和内存带宽压力。
• 并行优化与大规模专家并行：将模型计算和 MoE 路由专家的执行分布至多个加速器。
• 通信与计算重叠：在专家路由或集合通信传输数据的同时，让设备尽量继续执行计算，以隐藏部分通信等待。
• Prefill—Decode 分离：将提示词处理与逐 token 生成拆分到可独立配置、独立调优的资源池中。

这些技术是互补关系。Prefill 通常更偏向提示词处理和带宽消耗；Decode 则是逐步生成过程，对响应时延更敏感；MoE 的跨设备专家路由又会引入分布式通信协调。目标不是单纯提高理论算力，而是改善并发下的资源利用率与服务可预测性。

现有公开材料未给出 DeepSeek-V4.1-Flash 在寒武纪硬件上的可复现实测，包括吞吐量、首 token 时延、每 token 时延、集群拓扑、模型质量或 SLA 可用性。因此，更严谨的理解是：所谓“生产就绪”，说明已有可用、可支持的部署路径；实际容量规划和 SLA 承诺前，仍应针对自身模型版本、精度、上下文长度、批处理和集群配置完成验证。

加入 PyTorch Foundation，释放什么信号？

2026 年 9 月 8 日，PyTorch Foundation 宣布寒武纪以白金会员身份加入。49 该基金会也表示，寒武纪已与 vLLM 社区合作，为包括 DeepSeek-V4 和 GLM-5 在内的开源模型提供 Day-0 支持。57

这一动作的主要意义在于生态协同。加速器的价值不仅取决于硬件本身，也取决于它能否在 PyTorch、vLLM 等被广泛使用的公共框架和服务层中顺畅工作，而不是要求用户维护一套隔离的厂商专属栈。白金会员身份本身并不保证每个模型、每项功能都会获得上游支持，但它强化了寒武纪面向 PyTorch 和 vLLM 兼容性的既定方向。

已覆盖哪些模型家族？

寒武纪的软件材料列出了与 DeepSeek V3/V3.1、Qwen2.5、Qwen3、Qwen3-Next、GLM-4.5、Qwen3-VL、Flux、Wan 2.1/2.2 和 Hunyuan-Video 等模型相关的支持工作。18

但这里需要避免过度延伸：这份材料混合了训练支持与更广义的软件优化，并不能证明每个模型家族都拥有与 DeepSeek-V4.1-Flash 完全相同的“发布当天、面向生产的 vLLM 推理”状态。更准确的结论是，寒武纪已在多个国产模型家族上建立软件支持基础；至于某个具体版本的推理可用性、量化精度、多模态能力和 Day-0 状态，仍应以该版本发布时的文档和适配说明为准。

为什么“模型发布即适配”对运营者重要

对于智算集群和大模型服务团队，Day-0 兼容性可以缩短模型发布到受控评测之间的间隔。通过公开的 vLLM 路径，团队可在相对熟悉的服务接口上开展容量规划、流量路由、可观测性、量化评估和集成测试，而不是先等待或维护一个定制化推理分支。

DeepSeek-V4.1-Flash 的意义尤其体现在长上下文与多模态服务：其 KV Cache 压缩瞄准的是活跃会话占用 HBM、以及缓存复用所需主机内存或 SSD 的压力点。78

因此，这次 Day-0 适配并不意味着一次公告就能证明所有场景下的生产性能。它更说明了一条可重复的能力链——运行时、框架算子、优化内核、分布式执行与服务工具协同推进——能够把加速器对新模型的支持时间拉近至模型发布节点。随着开放模型变得更大、更稀疏、更多模态，这种标准化公共框架上的快速适配能力会愈发重要。

寒武纪所谓 DeepSeek-V4.1-Flash 的 Day-0（发布当天）适配，本质上是一项推理软件栈的集成与就绪度成果：模型权重发布后，开发者不必等待一条封闭的、专用的移植路径，即可通过开源 vLLM 推理框架在寒武纪 MLU 加速器上运行。

据寒武纪相关报道，这一链路组合了 NeuWare 运行时、Torch-MLU-Ops 算子支持和优化后的 BangC 内核。13 对部署方来说，价值不只在于“模型能启动”，更在于运行时、框架算子、分布式执行和关键计算热点需要同时可用，才有机会进入可验证、可运维的服务流程。

三层软件栈如何协同

寒武纪披露的适配路径可概括为三层：

• NeuWare：为寒武纪 MLU 加速器提供底层软件运行时。
• Torch-MLU-Ops：为模型组件提供面向 MLU 的算子支持；相关报道提到，它被用于加速模型中的 Engram 和 Compressor 结构。9
• BangC 内核：直接针对 MLU 架构优化性能敏感算子。寒武纪将 BangC 定义为其 BANG 异构并行编程模型的编程语言，可用于编写高性能 MLU 并行程序。18

这意味着，vLLM 的服务路径可以调用面向 MLU 的后端，而不必演变成客户自行维护的私有推理分支。寒武纪还表示，其 vLLM 优化覆盖混合精度与低比特推理、并行优化、大规模专家并行，以及 Prefill—Decode 分离部署等能力。18

为什么这款模型并不好“直接部署”

DeepSeek-V4.1-Flash 是一款支持文本和图像输入的多模态混合专家模型（MoE）。其主干参数量为 5520 亿，另有 1960 亿 Engram 记忆参数，上下文长度最高可达 100 万 token。58

部署时，参数总量并不等于每一步实际计算量。DeepSeek 表示，该模型在处理输入提示词的 Prefill（预填充） 阶段，每个 token 约激活 80 亿参数；在逐 token 输出的 Decode（解码） 阶段，则约激活 160 亿参数。8

这种输入侧与输出侧不对称的激活设计，理论上有助于降低提示词很长的工作负载的计算压力。但实际服务成本仍取决于权重精度、批处理规模、通信开销、显存容量、模型并行方式和请求结构，不能仅根据“激活参数量”下结论。

CED 架构：把长上下文的缓存压力降下来

该模型采用 40 层 因果编码器—解码器（Causal Encoder–Decoder，CED） 架构：前 20 层是因果编码器，后 20 层是解码器。与由每个解码器层独立生成全局键值状态不同，解码器的全局 KV 状态由编码器最终隐藏状态投影得到。58

这项设计直接关系到长上下文推理中的 KV Cache（键值缓存）。模型生成新 token 时，需要保留此前上下文的注意力状态；当上下文变长、并发会话增多时，KV Cache 往往会成为高带宽内存（HBM）消耗的关键瓶颈。

每 token 890 字节：KV Cache 的模型设计数据

DeepSeek 表示，借助 Compressed Sparse Attention 2（CSA2）中的跨层 KV Cache 复用，并叠加 FP4 KV 缓存，其常驻于 HBM 的全局 KV Cache 可降至 每 token 890 字节，约为 DeepSeek-V4-Flash 对应占用的 四分之一。78

其技术资料还称，通过 SWA Bounded Replay，常驻 SSD 或主机内存的持久化 KV Cache 可降至 V4-Flash 的约 八分之一。7

对集群运营者而言，这些数字指向一个重要变化：单个请求所需的缓存状态变少，可能为更多并发会话腾出内存空间，尤其适合长上下文与多模态服务。不过必须区分两类结论：上述数据是 DeepSeek 报告的模型设计指标，并非第三方对寒武纪集群吞吐、时延、稳定性、可用性或单位成本的端到端实测结果。78

推理优化不是单一“跑分”技巧

寒武纪公开的软件资料列举了多项与 vLLM 大型 MoE 服务相关的优化方向。18

• 混合精度与低比特推理：减少权重、激活值的存储和内存带宽压力。
• 并行优化与大规模专家并行：将模型计算和 MoE 路由专家的执行分布至多个加速器。
• 通信与计算重叠：在专家路由或集合通信传输数据的同时，让设备尽量继续执行计算，以隐藏部分通信等待。
• Prefill—Decode 分离：将提示词处理与逐 token 生成拆分到可独立配置、独立调优的资源池中。

这些技术是互补关系。Prefill 通常更偏向提示词处理和带宽消耗；Decode 则是逐步生成过程，对响应时延更敏感；MoE 的跨设备专家路由又会引入分布式通信协调。目标不是单纯提高理论算力，而是改善并发下的资源利用率与服务可预测性。

现有公开材料未给出 DeepSeek-V4.1-Flash 在寒武纪硬件上的可复现实测，包括吞吐量、首 token 时延、每 token 时延、集群拓扑、模型质量或 SLA 可用性。因此，更严谨的理解是：所谓“生产就绪”，说明已有可用、可支持的部署路径；实际容量规划和 SLA 承诺前，仍应针对自身模型版本、精度、上下文长度、批处理和集群配置完成验证。

加入 PyTorch Foundation，释放什么信号？

2026 年 9 月 8 日，PyTorch Foundation 宣布寒武纪以白金会员身份加入。49 该基金会也表示，寒武纪已与 vLLM 社区合作，为包括 DeepSeek-V4 和 GLM-5 在内的开源模型提供 Day-0 支持。57

这一动作的主要意义在于生态协同。加速器的价值不仅取决于硬件本身，也取决于它能否在 PyTorch、vLLM 等被广泛使用的公共框架和服务层中顺畅工作，而不是要求用户维护一套隔离的厂商专属栈。白金会员身份本身并不保证每个模型、每项功能都会获得上游支持，但它强化了寒武纪面向 PyTorch 和 vLLM 兼容性的既定方向。

已覆盖哪些模型家族？

寒武纪的软件材料列出了与 DeepSeek V3/V3.1、Qwen2.5、Qwen3、Qwen3-Next、GLM-4.5、Qwen3-VL、Flux、Wan 2.1/2.2 和 Hunyuan-Video 等模型相关的支持工作。18

但这里需要避免过度延伸：这份材料混合了训练支持与更广义的软件优化，并不能证明每个模型家族都拥有与 DeepSeek-V4.1-Flash 完全相同的“发布当天、面向生产的 vLLM 推理”状态。更准确的结论是，寒武纪已在多个国产模型家族上建立软件支持基础；至于某个具体版本的推理可用性、量化精度、多模态能力和 Day-0 状态，仍应以该版本发布时的文档和适配说明为准。

为什么“模型发布即适配”对运营者重要

对于智算集群和大模型服务团队，Day-0 兼容性可以缩短模型发布到受控评测之间的间隔。通过公开的 vLLM 路径，团队可在相对熟悉的服务接口上开展容量规划、流量路由、可观测性、量化评估和集成测试，而不是先等待或维护一个定制化推理分支。

DeepSeek-V4.1-Flash 的意义尤其体现在长上下文与多模态服务：其 KV Cache 压缩瞄准的是活跃会话占用 HBM、以及缓存复用所需主机内存或 SSD 的压力点。78

因此，这次 Day-0 适配并不意味着一次公告就能证明所有场景下的生产性能。它更说明了一条可重复的能力链——运行时、框架算子、优化内核、分布式执行与服务工具协同推进——能够把加速器对新模型的支持时间拉近至模型发布节点。随着开放模型变得更大、更稀疏、更多模态，这种标准化公共框架上的快速适配能力会愈发重要。