摩尔线程开源的 Megatron-MUSA-Titan，是一套围绕 Megatron-LM 构建、面向自家 MUSA GPU 的大模型训练基础设施。项目瞄准万亿参数以上模型，以及超过 1 万张摩尔线程 GPU 的集群，并覆盖预训练和强化学习（RL）。 213

这类发布最值得关注的，不只是目标规模有多大，也包括公开资料究竟能证明什么。就目前可见的信息而言，项目的定位和部分示例较明确；一些关于性能、兼容性和底层实现的说法，则还缺少足够证据。

已公开的项目定位

GitHub 仓库将 Megatron-MUSA-Titan 描述为面向预训练与强化学习的基础设施：它以 Megatron-LM 为基础，加入针对 MUSA 的优化，同时尽量贴近 Megatron-LM 上游生态。项目所列目标是支持 1T 以上参数模型，以及由 1 万张以上摩尔线程 GPU 组成的集群。 13

仓库还称，团队在万亿参数 MoE（混合专家）预训练中实现了训练稳定性和较高的模型 FLOPs 利用率（MFU，即实际用于模型计算的浮点运算量占理论峰值的比例）。不过，现有资料没有给出具体 MFU 数值或对照基准，因此无法据此量化它与其他训练系统的性能差距。 13

关于开源发布的报道还提到分块 FP8，以及对 slime、miles 两个强化学习框架的支持。这些属于媒体报道的能力信息；现有报道并未独立验证它们在所称集群规模下的实际表现。 411

仓库里有一份 1T 预训练脚本

项目包含一份 Kimi-K2 预训练启动脚本，文件名为 pretrain_kimi_1000B.sh。脚本注释要求用户按集群配置设置环境变量，并说明可以选择初始化外部 TransformerEngine 安装。 17

这说明仓库提供了面向 1T 级预训练的具体启动示例，但脚本本身不能证明某一套配置已在生产环境成功跑通，更不能单独作为规模化性能的验证结果。

哪些说法仍缺少验证

现有资料未能证实若干更具体的实现描述，包括：通过 Async Copy Engine 使用 DeepEP 做专家通信与计算重叠；将激活卸载与虚拟流水线并行及“一前向一反向”调度结合；利用 Mooncake RDMA 实现流水线通信重叠；以及在数小时内分析每张 GPU 的追踪数据，从而定位流水线空泡或慢任务。

资料也不足以确认：未经修改的 Megatron-LM、slime 和 miles 代码能否直接在 MUSA 环境中运行；强化学习任务中 Megatron 训练与启用 MUSA 的 SGLang rollout（生成采样）之间的具体分工是什么。

这些是目前的证据缺口，不代表相关功能一定不存在。更稳妥的做法，是把项目明确写出的目标、仓库中可见的代码示例，与尚未被现有材料独立证实的性能和实现说法区分开来。

开发者评估时可以关注什么

目前更有依据的理解是：Megatron-MUSA-Titan 是围绕 Megatron-LM 生态构建、针对 MUSA 做适配和优化的实现；“贴近上游”并不自动等于已有代码无需修改即可迁移。 13

对考虑迁移的团队而言，可以先用小规模任务核对软件版本、定制算子、分布式通信、数值表现、检查点兼容性和强化学习集成。至于生产稳定性和“较高 MFU”，在出现可复现的测量结果前，宜视为项目方报告的表现，而不是已经通过公开基准充分验证的结论。

摩尔线程开源的 Megatron-MUSA-Titan，是一套围绕 Megatron-LM 构建、面向自家 MUSA GPU 的大模型训练基础设施。项目瞄准万亿参数以上模型，以及超过 1 万张摩尔线程 GPU 的集群，并覆盖预训练和强化学习（RL）。 213

这类发布最值得关注的，不只是目标规模有多大，也包括公开资料究竟能证明什么。就目前可见的信息而言，项目的定位和部分示例较明确；一些关于性能、兼容性和底层实现的说法，则还缺少足够证据。

已公开的项目定位

GitHub 仓库将 Megatron-MUSA-Titan 描述为面向预训练与强化学习的基础设施：它以 Megatron-LM 为基础，加入针对 MUSA 的优化，同时尽量贴近 Megatron-LM 上游生态。项目所列目标是支持 1T 以上参数模型，以及由 1 万张以上摩尔线程 GPU 组成的集群。 13

仓库还称，团队在万亿参数 MoE（混合专家）预训练中实现了训练稳定性和较高的模型 FLOPs 利用率（MFU，即实际用于模型计算的浮点运算量占理论峰值的比例）。不过，现有资料没有给出具体 MFU 数值或对照基准，因此无法据此量化它与其他训练系统的性能差距。 13

关于开源发布的报道还提到分块 FP8，以及对 slime、miles 两个强化学习框架的支持。这些属于媒体报道的能力信息；现有报道并未独立验证它们在所称集群规模下的实际表现。 411

仓库里有一份 1T 预训练脚本

项目包含一份 Kimi-K2 预训练启动脚本，文件名为 pretrain_kimi_1000B.sh。脚本注释要求用户按集群配置设置环境变量，并说明可以选择初始化外部 TransformerEngine 安装。 17

这说明仓库提供了面向 1T 级预训练的具体启动示例，但脚本本身不能证明某一套配置已在生产环境成功跑通，更不能单独作为规模化性能的验证结果。

哪些说法仍缺少验证

现有资料未能证实若干更具体的实现描述，包括：通过 Async Copy Engine 使用 DeepEP 做专家通信与计算重叠；将激活卸载与虚拟流水线并行及“一前向一反向”调度结合；利用 Mooncake RDMA 实现流水线通信重叠；以及在数小时内分析每张 GPU 的追踪数据，从而定位流水线空泡或慢任务。

资料也不足以确认：未经修改的 Megatron-LM、slime 和 miles 代码能否直接在 MUSA 环境中运行；强化学习任务中 Megatron 训练与启用 MUSA 的 SGLang rollout（生成采样）之间的具体分工是什么。

这些是目前的证据缺口，不代表相关功能一定不存在。更稳妥的做法，是把项目明确写出的目标、仓库中可见的代码示例，与尚未被现有材料独立证实的性能和实现说法区分开来。

开发者评估时可以关注什么

目前更有依据的理解是：Megatron-MUSA-Titan 是围绕 Megatron-LM 生态构建、针对 MUSA 做适配和优化的实现；“贴近上游”并不自动等于已有代码无需修改即可迁移。 13

对考虑迁移的团队而言，可以先用小规模任务核对软件版本、定制算子、分布式通信、数值表现、检查点兼容性和强化学习集成。至于生产稳定性和“较高 MFU”，在出现可复现的测量结果前，宜视为项目方报告的表现，而不是已经通过公开基准充分验证的结论。