對用緊 AI 叢集嘅團隊而言，「Day 0 支援」最實際嘅意思，唔係一出新模型就保證跑到幾快，而係模型權重一發布，已經有一條可用、公開框架為本嘅部署路徑，毋須等候長時間嘅私有移植。

寒武紀表示，DeepSeek-V4.1-Flash 在發布當日，已可經開源推理框架 vLLM 於其 MLU 加速器上運行。當中結合咗 NeuWare 運行時、Torch-MLU-Ops 及經優化嘅 BangC kernels。13

Day 0 背後：唔係下載權重就即刻可以服務

大型模型有權重檔案，唔代表即刻可以投入推理服務。要真正部署，通常仲需要：

• 加速器嘅運行時及驅動支援；
• 框架層面嘅算子實作；
• 分散式執行與專家路由支援；
• 對運算熱點做過優化嘅 kernel；
• 配合 vLLM 呢類服務引擎嘅記憶體及排程機制。

寒武紀所講嘅整合可以理解成三層：

• NeuWare：為 MLU 加速器提供軟件運行時。
• Torch-MLU-Ops：提供 MLU 感知嘅算子支援；報道指當中包括模型 Engram 與 Compressor 結構相關算子。9
• BangC kernels：直接針對 MLU 架構處理關鍵運算。寒武紀形容 BangC 為其異構平行程式設計語言，用於編寫高效能 MLU 程式。18

呢個組合嘅重點，是讓 vLLM 可以用到加速器專屬後端，而唔使將整個 serving 流程變成客戶要自行維護嘅一次性私有程式。寒武紀亦稱，其 vLLM 優化涵蓋低比特混合精度推理、平行化優化、大規模專家平行，以及 prefill 與 decode 分離部署。18

DeepSeek-V4.1-Flash 點解難 serve？

DeepSeek-V4.1-Flash 係一個支援文字及圖片嘅多模態 Mixture-of-Experts（MoE，專家混合）模型，擁有 5,520 億個骨幹參數，另有 1,960 億個 Engram 記憶參數，最長支援 100 萬 token 上下文。58

營運時要睇嘅，唔止係總參數量，仲要睇每一步實際啟用幾多參數。DeepSeek 表示，模型在處理 prompt 的 prefill 階段，每個 token 約啟用 80 億參數；在逐 token 生成內容的 decode 階段，則約啟用 160 億參數。8

即係話，模型儲存規模同即時運算負載並唔係同一回事。對輸入特別長嘅工作負載，呢種不對稱設計可能有助降低 prefill 計算量；不過實際成本仍取決於權重精度、batch size、通訊、可用記憶體，以及流量組合。

40 層 Causal Encoder–Decoder 架構

模型採用 40 層 Causal Encoder–Decoder（CED）架構：前 20 層係 causal encoder，後 20 層係 decoder。decoder 嘅全域 key-value（KV）狀態，唔係由每一層 decoder 各自獨立生成，而係由 encoder 最後一層嘅 hidden states 投影而來。58

呢個設計直接關乎長上下文服務嘅記憶體壓力。模型持續生成內容時，要保留 KV cache，令新 token 可以注意到之前嘅內容；context 越長、並行請求越多，KV cache 往往越容易成為瓶頸。

每 token 890 bytes：KV cache 壓力點有幾大改變？

DeepSeek 指，透過 Compressed Sparse Attention 2（CSA2）嘅跨層 KV cache 重用，再配合 FP4 KV caching，全域 KV cache 在高頻寬記憶體（HBM）內嘅佔用可降至每 token 890 bytes，約為 DeepSeek-V4-Flash 相應數值嘅 四分之一。78

同一份技術資料亦指，SWA Bounded Replay 可令需要存放於 SSD 或主機記憶體嘅持久化 KV cache，降至 V4-Flash 約 八分之一。7

對叢集營運者嚟講，意思係長 context 或多模態服務時，每個請求所佔嘅快取狀態減少，理論上可以騰出更多記憶體畀並發 session。不過要講清楚：呢啲係 DeepSeek 公布嘅模型設計數據，並非第三方針對寒武紀叢集做嘅端到端基準測試；唔可以直接當成特定部署嘅吞吐量、延遲、可靠性或成本保證。

寒武紀嘅 serving 優化實際幫到乜？

寒武紀公開軟件資料列出多項同大規模 MoE 模型服務有關嘅技術。18

• 混合精度及低比特推理：可減少權重、activation 同記憶體傳輸嘅負擔。
• 平行化優化及大規模專家平行：把模型運算與被路由嘅專家工作分派至多個加速器。
• 通訊與運算重疊：在裝置進行矩陣或專家運算時，盡量同步處理集體通訊及路由資料搬運，減少等待。
• Prefill–decode 分離部署：將讀取及處理長 prompt 的 prefill，與逐步產生 token 的 decode 分開配置與調校。

幾種方法係互補關係：prefill 通常較著重 prompt 處理與頻寬；decode 則反覆迭代，對回應延遲更敏感。MoE 專家路由又會引入跨裝置協調。因此，目標唔單止係提高理論 FLOPS，而係改善並發下嘅利用率與服務穩定性。

現有公開資料未提供 DeepSeek-V4.1-Flash 在寒武紀硬件上可重現嘅吞吐量、延遲、模型質素、叢集拓撲或服務可用性數據。故此，「可作生產部署」較穩妥嘅理解係：有可用及受支援嘅部署路徑；團隊仍應按自身模型版本、精度、上下文長度、batching 和硬件配置完成驗證，再作容量或 SLA 承諾。

加入 PyTorch Foundation Platinum，代表乜？

PyTorch Foundation 在 2026 年 9 月 8 日宣布，寒武紀成為 Platinum 會員。49 基金會亦表示，寒武紀曾與 vLLM 社群合作，為包括 DeepSeek-V4 及 GLM-5 在內嘅開源大型語言模型提供 Day 0 支援。57

意義主要係生態系統對齊。加速器如果可以經 PyTorch、vLLM 等常用公共框架使用，對開發及營運團隊嘅價值會高過要維護一套獨立、供應商專屬嘅服務堆疊。

當然，會員資格本身唔等於每款模型、每項功能都已經上游支援；但它反映寒武紀正將 PyTorch 與 vLLM 相容性放喺較核心嘅軟件策略位置。

仲支援邊啲模型？要小心分清楚「有支援」同「Day 0」

寒武紀資料列出其工作涉及 DeepSeek V3/V3.1、Qwen2.5、Qwen3、Qwen3-Next、GLM-4.5、Qwen3-VL、Flux、Wan 2.1/2.2 及 Hunyuan-Video 等模型家族。18

不過，該資料混合咗訓練支援與較廣泛嘅軟件優化，唔足以證明每個模型家族都擁有與 DeepSeek-V4.1-Flash 一樣嘅 Day 0、生產級 vLLM 推理狀態。實際可用嘅模型版本、量化格式、多模態能力和推出時間，仍然要逐個 release 核實。

點解同日模型—晶片可用，值得叢集營運者留意？

新模型推出後，如果已有 vLLM 呢種公開服務接口，團隊可以較快用熟悉嘅方式做容量規劃、流量路由、可觀測性、量化評估與整合測試，而毋須先等一個私有 fork 成熟。

對 DeepSeek-V4.1-Flash 尤其如此：它所主打嘅 cache 壓縮，正正對準長 context 推理兩個最常見嘅壓力位——HBM 中活躍 session 的 KV 狀態，以及為 prefix reuse 而放喺 SSD 或主機記憶體嘅持久快取。78

所以，呢次 Day 0 消息唔代表任何叢集都會即刻得到同樣效能，更唔係萬能嘅「生產保證」。真正值得留意嘅係，當運行時、框架算子、核心 kernels、分散式執行與服務工具可以重複配合，新一代愈大、愈稀疏、愈多模態嘅開放模型，就有機會由以往要等幾個月嘅私有移植，逐步走向發布日已有標準化公共框架支援。

對用緊 AI 叢集嘅團隊而言，「Day 0 支援」最實際嘅意思，唔係一出新模型就保證跑到幾快，而係模型權重一發布，已經有一條可用、公開框架為本嘅部署路徑，毋須等候長時間嘅私有移植。

寒武紀表示，DeepSeek-V4.1-Flash 在發布當日，已可經開源推理框架 vLLM 於其 MLU 加速器上運行。當中結合咗 NeuWare 運行時、Torch-MLU-Ops 及經優化嘅 BangC kernels。13

Day 0 背後：唔係下載權重就即刻可以服務

大型模型有權重檔案，唔代表即刻可以投入推理服務。要真正部署，通常仲需要：

• 加速器嘅運行時及驅動支援；
• 框架層面嘅算子實作；
• 分散式執行與專家路由支援；
• 對運算熱點做過優化嘅 kernel；
• 配合 vLLM 呢類服務引擎嘅記憶體及排程機制。

寒武紀所講嘅整合可以理解成三層：

• NeuWare：為 MLU 加速器提供軟件運行時。
• Torch-MLU-Ops：提供 MLU 感知嘅算子支援；報道指當中包括模型 Engram 與 Compressor 結構相關算子。9
• BangC kernels：直接針對 MLU 架構處理關鍵運算。寒武紀形容 BangC 為其異構平行程式設計語言，用於編寫高效能 MLU 程式。18

呢個組合嘅重點，是讓 vLLM 可以用到加速器專屬後端，而唔使將整個 serving 流程變成客戶要自行維護嘅一次性私有程式。寒武紀亦稱，其 vLLM 優化涵蓋低比特混合精度推理、平行化優化、大規模專家平行，以及 prefill 與 decode 分離部署。18

DeepSeek-V4.1-Flash 點解難 serve？

DeepSeek-V4.1-Flash 係一個支援文字及圖片嘅多模態 Mixture-of-Experts（MoE，專家混合）模型，擁有 5,520 億個骨幹參數，另有 1,960 億個 Engram 記憶參數，最長支援 100 萬 token 上下文。58

營運時要睇嘅，唔止係總參數量，仲要睇每一步實際啟用幾多參數。DeepSeek 表示，模型在處理 prompt 的 prefill 階段，每個 token 約啟用 80 億參數；在逐 token 生成內容的 decode 階段，則約啟用 160 億參數。8

即係話，模型儲存規模同即時運算負載並唔係同一回事。對輸入特別長嘅工作負載，呢種不對稱設計可能有助降低 prefill 計算量；不過實際成本仍取決於權重精度、batch size、通訊、可用記憶體，以及流量組合。

40 層 Causal Encoder–Decoder 架構

模型採用 40 層 Causal Encoder–Decoder（CED）架構：前 20 層係 causal encoder，後 20 層係 decoder。decoder 嘅全域 key-value（KV）狀態，唔係由每一層 decoder 各自獨立生成，而係由 encoder 最後一層嘅 hidden states 投影而來。58

呢個設計直接關乎長上下文服務嘅記憶體壓力。模型持續生成內容時，要保留 KV cache，令新 token 可以注意到之前嘅內容；context 越長、並行請求越多，KV cache 往往越容易成為瓶頸。

每 token 890 bytes：KV cache 壓力點有幾大改變？

DeepSeek 指，透過 Compressed Sparse Attention 2（CSA2）嘅跨層 KV cache 重用，再配合 FP4 KV caching，全域 KV cache 在高頻寬記憶體（HBM）內嘅佔用可降至每 token 890 bytes，約為 DeepSeek-V4-Flash 相應數值嘅 四分之一。78

同一份技術資料亦指，SWA Bounded Replay 可令需要存放於 SSD 或主機記憶體嘅持久化 KV cache，降至 V4-Flash 約 八分之一。7

對叢集營運者嚟講，意思係長 context 或多模態服務時，每個請求所佔嘅快取狀態減少，理論上可以騰出更多記憶體畀並發 session。不過要講清楚：呢啲係 DeepSeek 公布嘅模型設計數據，並非第三方針對寒武紀叢集做嘅端到端基準測試；唔可以直接當成特定部署嘅吞吐量、延遲、可靠性或成本保證。

寒武紀嘅 serving 優化實際幫到乜？

寒武紀公開軟件資料列出多項同大規模 MoE 模型服務有關嘅技術。18

• 混合精度及低比特推理：可減少權重、activation 同記憶體傳輸嘅負擔。
• 平行化優化及大規模專家平行：把模型運算與被路由嘅專家工作分派至多個加速器。
• 通訊與運算重疊：在裝置進行矩陣或專家運算時，盡量同步處理集體通訊及路由資料搬運，減少等待。
• Prefill–decode 分離部署：將讀取及處理長 prompt 的 prefill，與逐步產生 token 的 decode 分開配置與調校。

幾種方法係互補關係：prefill 通常較著重 prompt 處理與頻寬；decode 則反覆迭代，對回應延遲更敏感。MoE 專家路由又會引入跨裝置協調。因此，目標唔單止係提高理論 FLOPS，而係改善並發下嘅利用率與服務穩定性。

現有公開資料未提供 DeepSeek-V4.1-Flash 在寒武紀硬件上可重現嘅吞吐量、延遲、模型質素、叢集拓撲或服務可用性數據。故此，「可作生產部署」較穩妥嘅理解係：有可用及受支援嘅部署路徑；團隊仍應按自身模型版本、精度、上下文長度、batching 和硬件配置完成驗證，再作容量或 SLA 承諾。

加入 PyTorch Foundation Platinum，代表乜？

PyTorch Foundation 在 2026 年 9 月 8 日宣布，寒武紀成為 Platinum 會員。49 基金會亦表示，寒武紀曾與 vLLM 社群合作，為包括 DeepSeek-V4 及 GLM-5 在內嘅開源大型語言模型提供 Day 0 支援。57

意義主要係生態系統對齊。加速器如果可以經 PyTorch、vLLM 等常用公共框架使用，對開發及營運團隊嘅價值會高過要維護一套獨立、供應商專屬嘅服務堆疊。

當然，會員資格本身唔等於每款模型、每項功能都已經上游支援；但它反映寒武紀正將 PyTorch 與 vLLM 相容性放喺較核心嘅軟件策略位置。

仲支援邊啲模型？要小心分清楚「有支援」同「Day 0」

寒武紀資料列出其工作涉及 DeepSeek V3/V3.1、Qwen2.5、Qwen3、Qwen3-Next、GLM-4.5、Qwen3-VL、Flux、Wan 2.1/2.2 及 Hunyuan-Video 等模型家族。18

不過，該資料混合咗訓練支援與較廣泛嘅軟件優化，唔足以證明每個模型家族都擁有與 DeepSeek-V4.1-Flash 一樣嘅 Day 0、生產級 vLLM 推理狀態。實際可用嘅模型版本、量化格式、多模態能力和推出時間，仍然要逐個 release 核實。

點解同日模型—晶片可用，值得叢集營運者留意？

新模型推出後，如果已有 vLLM 呢種公開服務接口，團隊可以較快用熟悉嘅方式做容量規劃、流量路由、可觀測性、量化評估與整合測試，而毋須先等一個私有 fork 成熟。

對 DeepSeek-V4.1-Flash 尤其如此：它所主打嘅 cache 壓縮，正正對準長 context 推理兩個最常見嘅壓力位——HBM 中活躍 session 的 KV 狀態，以及為 prefix reuse 而放喺 SSD 或主機記憶體嘅持久快取。78

所以，呢次 Day 0 消息唔代表任何叢集都會即刻得到同樣效能，更唔係萬能嘅「生產保證」。真正值得留意嘅係，當運行時、框架算子、核心 kernels、分散式執行與服務工具可以重複配合，新一代愈大、愈稀疏、愈多模態嘅開放模型，就有機會由以往要等幾個月嘅私有移植，逐步走向發布日已有標準化公共框架支援。