Moore Threads 的 Megatron-MUSA-Titan，是一套以 Megatron-LM 為基礎、配合自家 MUSA GPU 使用的開源訓練工具，涵蓋大型模型預訓練和強化學習。專案瞄準一萬億參數以上的模型，以及超過一萬張 GPU 的叢集。規模目標固然矚目，但現有資料對部分功能描述得較清楚，對效能主張則未有足夠細節供外界核實。213

專案表示支援甚麼？

GitHub 專案介紹稱，Megatron-MUSA-Titan 面向預訓練和強化學習，加入針對 MUSA 的最佳化，同時盡量貼近 Megatron-LM 生態；目標是在一萬張以上 Moore Threads GPU 組成的叢集上，訓練 1T 參數以上的模型。13

專案亦稱，在 1T MoE（混合專家）預訓練中，已達到穩定訓練和較高的模型 FLOPs 利用率（MFU，即模型運算資源的使用效率）。不過，現有摘錄沒有列出 MFU 數值，也沒有提供與其他系統比較的基準測試，因此難以據此量化其效能表現。13

有關開源發布的報道，亦提及分塊 FP8，以及支援 slime 和 miles 強化學習框架。這些屬於報道所述的功能；但現有報道並未獨立證明它們在所述叢集規模下的效能。411

有一個面向 1T 模型的訓練範例

專案庫內有一個名為 pretrain_kimi_1000B.sh 的 Kimi-K2 預訓練腳本。腳本註明使用者要按叢集配置設定環境變數，亦可選擇初始化外部的 TransformerEngine 安裝。這提供了一個以 1T 模型為目標的啟動範例，但單憑腳本本身，無法證明某個特定配置已在正式環境成功執行。17

哪些說法仍未獲現有資料證實？

目前可見的資料，未能支持幾項更具體的技術描述，例如：透過 Async Copy Engine 使用 DeepEP，重疊專家間通訊與運算；結合 activation offloading（啟動值卸載）、虛擬 pipeline parallelism，以及一次前向、一次反向的排程；利用 Mooncake RDMA 重疊 pipeline 通訊與運算；又或者在數小時內分析每張 GPU 的追蹤紀錄，找出 pipeline 空檔或拖慢整體進度的節點。

現有資料亦未能確認，未經修改的 Megatron-LM、slime 和 miles 程式碼可否直接在相容的 MUSA 環境執行；也未能釐清強化學習流程中，Megatron 訓練與支援 MUSA 的 SGLang rollout（生成回合）各自負責甚麼。這些是證據不足之處，並不代表相關功能一定不存在。

開發團隊可以如何看待？

較穩妥的理解是：Megatron-MUSA-Titan 是一套以 Megatron-LM 生態為基礎、針對 MUSA 作出調整的實作，而不是已證明現有 CUDA 訓練程式碼可以原封不動搬過去。專案表示會貼近上游版本，但現有資料不足以確認它能做到零修改移植。13

有意評估遷移的團隊，可先用小規模作業測試，並逐項核對軟件版本、自訂核心、分散式通訊、數值結果、檢查點相容性，以及強化學習整合。至於正式環境的穩定性和「高 MFU」，在有可重現的測量結果之前，宜視為專案方面的說法。現有證據能說明這套工具的目標範圍和示範啟動腳本，但未能證實所有實作細節或提供具體效能數字。

Moore Threads 的 Megatron-MUSA-Titan，是一套以 Megatron-LM 為基礎、配合自家 MUSA GPU 使用的開源訓練工具，涵蓋大型模型預訓練和強化學習。專案瞄準一萬億參數以上的模型，以及超過一萬張 GPU 的叢集。規模目標固然矚目，但現有資料對部分功能描述得較清楚，對效能主張則未有足夠細節供外界核實。213

專案表示支援甚麼？

GitHub 專案介紹稱，Megatron-MUSA-Titan 面向預訓練和強化學習，加入針對 MUSA 的最佳化，同時盡量貼近 Megatron-LM 生態；目標是在一萬張以上 Moore Threads GPU 組成的叢集上，訓練 1T 參數以上的模型。13

專案亦稱，在 1T MoE（混合專家）預訓練中，已達到穩定訓練和較高的模型 FLOPs 利用率（MFU，即模型運算資源的使用效率）。不過，現有摘錄沒有列出 MFU 數值，也沒有提供與其他系統比較的基準測試，因此難以據此量化其效能表現。13

有關開源發布的報道，亦提及分塊 FP8，以及支援 slime 和 miles 強化學習框架。這些屬於報道所述的功能；但現有報道並未獨立證明它們在所述叢集規模下的效能。411

有一個面向 1T 模型的訓練範例

專案庫內有一個名為 pretrain_kimi_1000B.sh 的 Kimi-K2 預訓練腳本。腳本註明使用者要按叢集配置設定環境變數，亦可選擇初始化外部的 TransformerEngine 安裝。這提供了一個以 1T 模型為目標的啟動範例，但單憑腳本本身，無法證明某個特定配置已在正式環境成功執行。17

哪些說法仍未獲現有資料證實？

目前可見的資料，未能支持幾項更具體的技術描述，例如：透過 Async Copy Engine 使用 DeepEP，重疊專家間通訊與運算；結合 activation offloading（啟動值卸載）、虛擬 pipeline parallelism，以及一次前向、一次反向的排程；利用 Mooncake RDMA 重疊 pipeline 通訊與運算；又或者在數小時內分析每張 GPU 的追蹤紀錄，找出 pipeline 空檔或拖慢整體進度的節點。

現有資料亦未能確認，未經修改的 Megatron-LM、slime 和 miles 程式碼可否直接在相容的 MUSA 環境執行；也未能釐清強化學習流程中，Megatron 訓練與支援 MUSA 的 SGLang rollout（生成回合）各自負責甚麼。這些是證據不足之處，並不代表相關功能一定不存在。

開發團隊可以如何看待？

較穩妥的理解是：Megatron-MUSA-Titan 是一套以 Megatron-LM 生態為基礎、針對 MUSA 作出調整的實作，而不是已證明現有 CUDA 訓練程式碼可以原封不動搬過去。專案表示會貼近上游版本，但現有資料不足以確認它能做到零修改移植。13

有意評估遷移的團隊，可先用小規模作業測試，並逐項核對軟件版本、自訂核心、分散式通訊、數值結果、檢查點相容性，以及強化學習整合。至於正式環境的穩定性和「高 MFU」，在有可重現的測量結果之前，宜視為專案方面的說法。現有證據能說明這套工具的目標範圍和示範啟動腳本，但未能證實所有實作細節或提供具體效能數字。