答案已發布2 小時前Last edited 2 小時前15 個來源

Megatron-MUSA-Titan 瞄準萬億參數訓練，但效能數字仍待公開

Megatron MUSA Titan 是以 Megatron LM 為基礎的預訓練與強化學習工具，目標涵蓋 1 兆以上參數模型及 1 萬張以上 Moore Threads GPU 叢集。 GitHub 專案提供 Kimi K2 的 1T 預訓練啟動腳本，但有範例程式不等於已證明該設定成功投入正式生產。

發布者使用 GPT-6 Luna 編輯圖片由 GPT Image 2 生成

使用 Studio Global AI 搜尋並查證事實瀏覽更多熱門頁面

研究答案

重點整理

Megatron MUSA Titan 是以 Megatron LM 為基礎的預訓練與強化學習工具，目標涵蓋 1 兆以上參數模型及 1 萬張以上 Moore Threads GPU 叢集。
GitHub 專案提供 Kimi K2 的 1T 預訓練啟動腳本，但有範例程式不等於已證明該設定成功投入正式生產。
報導提到區塊式 FP8，以及 slime、miles 強化學習框架支援；至於通訊、記憶體管理、效能數字和免修改相容性，現有資料尚未充分證實。

Illustrative AI-generated image representing large-scale AI model training on Moore Threads GPUs — What did Moore Threads announce with its October 29, 2026 open-source release of Megatron-MUSA-Titan on GitHub, and how does the stack suppoIllustrative AI-generated artwork; not a photograph of Moore Threads hardware.
AI 提示詞
Create a landscape editorial hero image for this Studio Global article: What did Moore Threads announce with its October 29, 2026 open-source release of Megatron-MUSA-Titan on GitHub, and how does the stack suppo. Article summary: Moore Threads announced the open-source release of Megatron-MUSA-Titan, a Megatron-LM-based stack targeting pretraining and reinforcement learning for models with 1 trillion-plus parameters on clusters of more than 10,00. Topic tags: general, general web, user generated, academic. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, char
openai.com

Moore Threads 的 Megatron-MUSA-Titan 是一套以 Megatron-LM 為基礎的開源訓練工具，主打使用自家 MUSA GPU，支援大型模型預訓練與強化學習。專案鎖定 1 兆以上參數模型，以及超過 1 萬張 Moore Threads GPU 組成的叢集。規模目標引人注目，但目前公開資料對「支援範圍」的說明，比對「實際效能」的量化證據更完整。2 13

專案公開說明了什麼？

GitHub 專案將 Megatron-MUSA-Titan 定位為預訓練與強化學習基礎設施，並表示它在沿用 Megatron-LM 生態系的同時，加入針對 MUSA 的最佳化。其目標是讓 1T 以上參數模型能在 10,000 張以上 Moore Threads GPU 的叢集上訓練。13

專案也宣稱，在 1T MoE 預訓練期間達到穩定訓練與較高的模型 FLOPs 利用率（MFU）。不過，現有資料沒有列出具體 MFU 數值或與其他系統的基準比較，因此無法據此衡量它的效能究竟領先多少。MoE 是「混合專家模型」的縮寫，會依輸入內容選擇不同的專家子網路參與運算。13

關於開源發布的報導，另提到區塊式 FP8，以及支援 slime 和 miles 強化學習框架。這些是報導列出的功能；目前可見資料並未獨立證明它們在所述叢集規模下的效能表現。4 11

Kimi-K2 範例腳本：可參考，不代表已驗證投產

專案裡有一支 Kimi-K2 預訓練啟動腳本，檔名為 pretrain_kimi_1000B.sh。腳本註解要求使用者依叢集設定調整環境變數，也提供選擇性初始化外部 TransformerEngine 安裝的說明。這顯示專案包含面向 1T 規模的啟動範例，但單憑腳本本身，無法確認特定設定已成功在正式環境完成訓練。17

效能與相容性，哪些仍待證明？

目前可見來源並未充分證實幾項更具體的技術說法，包括：透過 Async Copy Engine 使用 DeepEP，讓專家平行運算中的通訊與計算重疊；把啟用值卸載與虛擬管線平行化，以及「一次前向、一次反向」排程結合；使用 Mooncake RDMA 讓管線通訊與計算重疊；以及分析各 GPU 的追蹤資料，在數小時內找出管線空轉或拖慢整體工作的節點。

資料也未確認 Megatron-LM、slime 和 miles 的原始程式碼能否不經修改，就在 MUSA 環境執行；強化學習流程是否明確由 Megatron 負責訓練、並由支援 MUSA 的 SGLang 負責 rollout（生成訓練樣本的推論流程），也尚未獲現有來源證實。這些是證據尚不足之處，不等於相關功能不存在。

開發者評估時的重點

比較恰當的理解是：Megatron-MUSA-Titan 是一套以 Megatron-LM 生態系為基礎、針對 MUSA GPU 加入最佳化的實作，而不是已證明既有 CUDA 訓練程式可以完全不改就直接搬過去。專案表示自己與上游生態系保持接近，但現有資料不足以將此視為「零修改可移植」的保證。13

有意評估遷移的團隊，可先從小規模測試開始，逐項確認軟體版本、自訂核心、分散式通訊、數值行為、檢查點相容性，以及強化學習整合。至於正式環境的穩定性與「高 MFU」，在可重現的測量結果公開前，仍應視為專案方所述的表現主張。現有證據能說明工具的目標範圍和範例腳本，卻無法驗證所有實作細節，也沒有提供可供比較的 MFU 數值。

Studio Global AI

繼續深入研究

這個頁面包含附來源佐證的答案，你可以在 Studio Global 內繼續追問。

使用 Studio Global AI 搜尋並查證事實

大家也會問