寒武紀加入 PyTorch 理事會：比起新晶片，更關鍵的是軟體生態布局

寒武紀加入 PyTorch Foundation 白金會員，較應視為一項長期的軟體與生態策略，而不是新一代 AI 晶片的發布訊號。其核心目標，是讓寒武紀的 MLU 加速器能更自然地融入 AI 開發全流程：從以 PyTorch 進行模型開發、訓練與除錯，到進入正式環境後的推論服務。 5

在上海舉行的 PyTorch Conference China，寒武紀與阿里雲同時成為白金會員，螞蟻集團則以黃金會員加入。白金會員可在 PyTorch Foundation 理事會（Governing Board）取得一席，並在技術諮詢委員會（Technical Advisory Council，TAC）擁有代表權。 156

理事會席位的價值，不只是一個頭銜

理事會席位不代表寒武紀提出的技術方案必定獲採用；但它讓公司能正式參與基金會的使命、範圍、政策及技術方向討論。

寒武紀由 AI 框架與基礎設施資深總監 Jin Wang 擔任理事會代表；TAC 的參與則使公司更接近影響 PyTorch 加速器後端整合與維護方式的技術討論。 5

對硬體廠商而言，開發者是否採用加速器，從來不只看晶片規格。框架支援是否穩定、工具是否相容、文件是否足夠、介面是否可靠，以及是否具備可用的生產推論路徑，同樣重要。若廠商必須長期維護一個與主線 PyTorch 分離的大型分支，每當上游專案更新，就可能面臨持續的相容性與維護成本。

「Upstream First」：避免陷入自建軟體堆疊

寒武紀將其方法稱為「Upstream First」，意即優先向上游社群貢獻，而非只在自家分支維護功能。公司表示，近年已在 torch.compile、Eager 運算子、裝置執行期、分散式運算、自動混合精度（AMP）、DataLoader 與 Profiler 等核心範圍投入貢獻。 5

這項策略的重點，是盡可能透過 PyTorch 的通用抽象層完成整合，而不完全依賴封閉或孤立的廠商專屬實作。若相關工作能被上游接受並持續維護，理論上可帶來幾項實際效益：

• 降低維護負擔： 減少每次 PyTorch 改版時，反覆將獨立後端重新套用或調整的需要。
• 維持熟悉的開發體驗： 開發者可沿用既有的 PyTorch API 與工具，而不必學習一套差異很大的專屬軟體堆疊。
• 提高跨硬體可攜性： 團隊評估不同受支援的加速器平台時，模型程式與周邊工具可能需要較少修改。
• 讓整合更耐久： 建立在共通框架介面上的支援，通常比為單一裝置堆出的臨時修補更有延續性。

寒武紀的 Torch-MLU 工作，包括類似 PyTorch PrivateUse1 的整合路徑，顯示其方向是使用 PyTorch 既有的擴充機制，讓更多裝置類型納入支援。目標是讓使用者撰寫更少的加速器專屬程式碼；但這仍是目標而非保證，成效取決於實作品質、上游審查結果，以及未來 PyTorch 版本的持續相容性。

從 PyTorch 開發延伸到 vLLM 推論服務

此次會員公告也指向更大的企圖：支援從實驗、訓練到部署推論的完整路徑。

PyTorch Foundation 執行董事 Mark Collier 將挑戰描述為：讓開發者能在 PyTorch 建置與最佳化模型，然後以 vLLM 有效率地提供模型服務。 5 對寒武紀來說，兩者是互補層次：

• PyTorch 支援涵蓋模型開發、訓練、編譯、除錯與生態工具。
• vLLM 支援則著眼於生產推論，特別是高效率執行推論工作負載，以及使用主流開放模型的需求。

寒武紀表示，將持續與 vLLM 合作，讓開放模型可在其硬體上運行，並規劃加碼投入編譯基礎設施、CI/CD 與 PyTorch 領域函式庫的裝置無關支援。 5 這些工作合在一起，意在把 MLU 平台從單次模型移植或跑分場景，推向更完整的「開發到上線」工作流程。

接下來該看哪些實質成果？

會員身分公布後，真正有參考價值的將是整合是否持續成熟。開發者與基礎設施團隊可留意以下訊號：

1. 上游合併成果： 真正被 PyTorch 主線接受的變更，比宣布的意向更具意義。
2. 跨版本相容性： Torch-MLU 是否能跟上 PyTorch 的發行節奏，而不要求使用者進行破壞性改寫。
3. 真實工作負載覆蓋度： 是否支援常見模型架構、分散式訓練模式、編譯流程及除錯工具。
4. 生產推論品質： vLLM 整合是否具備可靠的模型支援與可維護的部署流程。
5. 清楚的加速器整合指引： TAC 的討論及後續 PyTorch 實務，能否為硬體後端提供更可預期的接入路徑。

仍須釐清的限制

白金會員資格、理事會席位與 TAC 代表權具有策略意義，但並不能直接證明寒武紀 MLU 與其他加速器的效能已達對等，也不代表已具備廣泛模型覆蓋，或其偏好的後端設計一定會被採納。

最終結果仍取決於哪些貢獻實際被合併至上游、PyTorch 技術社群與 TAC 如何評估方案，以及寒武紀能否長期維持成熟可靠的 PyTorch 與 vLLM 整合。現階段，這項宣布最明確的訊號是：寒武紀正透過開源軟體相容性與生態參與來爭取開發者，而不只是再推出一項「首日支援」式的硬體產品。 5