寒武紀入主 PyTorch 理事會：真正押注係 AI 軟件可攜性

寒武紀（Cambricon）成為 PyTorch Foundation 白金會員，最值得留意嘅唔係一款新晶片，而係一場長線軟件生態部署。公司想令其 MLU AI 加速器，喺模型開發、訓練以至正式上線推理嘅整個流程中，成為較自然、較少阻力嘅選項。 5

喺上海舉行嘅 PyTorch Conference China，寒武紀同阿里雲以白金會員身分加入，螞蟻集團則以金級會員加入。白金會員可獲 PyTorch Foundation 理事會（Governing Board）一席，並於技術諮詢委員會（Technical Advisory Council，TAC）有代表。 156

有理事會席位，實際代表咩？

有席位唔等於寒武紀提出嘅技術方案一定會獲採納，但至少令公司可以正式參與基金會就使命、範疇、政策同技術方向嘅討論。

寒武紀由 AI 框架及基礎設施高級總監 Jin Wang 出任理事會代表；參與 TAC，亦令公司更接近影響加速器後端如何接入及維護嘅技術討論。 5

對開發者而言，揀加速器從來唔只係比拼晶片規格。框架支援是否可靠、工具鏈是否兼容、文件是否易用、介面是否穩定，以及有冇可行嘅生產推理路徑，全部都會影響採用決定。假如硬件供應商要長期維護一個大型、獨立嘅 PyTorch 分支，每逢上游 PyTorch 更新，就可能要承受重複追版本同修兼容性嘅成本。

「Upstream First」：避免困死喺獨立軟件棧

寒武紀形容其策略為「Upstream First」（優先貢獻至上游）。公司表示，過去已於 torch.compile、Eager operators、裝置運行時、分散式運算、自動混合精度（AMP）、DataLoader 同 Profiler 等 PyTorch 核心範疇作出貢獻。 5

重點係盡量透過 PyTorch 通用抽象層做整合，而唔係只靠封閉、廠商專用嘅實作。如果相關工作最終獲上游接受並持續維護，實務上可能帶來幾個好處：

• 較低維護負擔： 減少每次 PyTorch 升版都要重新同步獨立後端嘅工作。
• 較一致嘅開發流程： 開發者可繼續用熟悉嘅 PyTorch API 同工具，而唔使另學一套相差甚遠嘅軟件棧。
• 較佳可攜性： 團隊評估不同受支援加速器平台時，模型程式及周邊工具可能毋須大幅改寫。
• 整合更耐用： 通用框架介面通常較一次性、綁死某款裝置堆棧嘅補丁更有機會保持穩定。

寒武紀嘅 Torch-MLU 工作，包括類似 PrivateUse1 嘅整合路徑，反映其嘗試使用 PyTorch 原有嘅延伸機制支援額外裝置。理想結果係用戶要寫嘅加速器專屬程式碼更少；不過呢個係目標，唔係保證，仍取決於實作質素、上游審核，以及日後 PyTorch 版本嘅持續兼容性。

由 PyTorch 寫模型，到 vLLM 上線推理

今次會員公告亦指向另一個更大目標：由實驗、訓練到部署推理，都要有完整路徑。

PyTorch Foundation 執行董事 Mark Collier 將挑戰概括為：開發者要能夠喺 PyTorch 建立及優化模型，然後用 vLLM 高效地提供模型服務。 5 對寒武紀來講，兩者係互補關係：

• PyTorch 支援 負責模型開發、訓練、編譯、除錯同生態工具。
• vLLM 支援 則面向生產推理，涉及高效率服務模型，以及使用熱門開源模型嘅能力。

寒武紀表示會繼續同 vLLM 合作，讓開放模型可於其硬件上運行，並計劃繼續投資編譯基礎設施、CI/CD，以及 PyTorch 領域函式庫嘅裝置無關支援。 5 呢啲工作合埋，目的係令 MLU 平台唔止適合跑基準測試或單一模型移植，而係可以支援較完整嘅「開發到上線」流程。

下一步要睇乜？

真正有份量嘅證據，要等公告之後先會陸續出現。開發者同基礎設施團隊可留意以下指標：

1. 有冇實際合併到上游： 已獲 PyTorch 接納嘅改動，比單純宣布意向更重要。
2. 能否跟上每次版本更新： Torch-MLU 要隨 PyTorch 演進，唔應每次更新都要大規模改寫。
3. 真實工作負載覆蓋度： 支援要涵蓋常見模型架構、分散式訓練模式、編譯流程及除錯工具。
4. 生產推理質素： vLLM 整合需要可靠模型支援，同時部署與維護流程要實用。
5. 更清晰嘅加速器整合指引： TAC 討論及未來 PyTorch 慣例，或會為硬件後端提供更可預測嘅接入路徑。

最重要嘅限制

寒武紀取得白金會員資格同治理代表權，戰略意義確實不小；但呢件事本身並唔證明其加速器已經同其他方案做到效能對等、廣泛模型覆蓋，亦唔代表其偏好嘅後端設計必然被接受。

最終要睇實際有咩程式碼獲上游合併、PyTorch 技術社群同 TAC 如何評估方案，以及寒武紀能否長期維持穩健嘅 PyTorch 與 vLLM 整合。現階段，呢項宣布最強嘅訊號係：寒武紀正透過開源軟件兼容性同生態參與爭取開發者，而唔係單靠另一場 Day-0 硬件發布。 5