摩尔线程开源Megatron-MUSA-Titan：面向万卡集群的万亿参数MoE大模型训练基础设施

SmartHey10月29日消息，摩尔线程于10月28日正式开源大模型训练基础设施项目 Megatron-MUSA-Titan。该项目深度适配摩尔线程全功能GPU，专为万卡级超大规模集群设计，全面支撑万亿参数混合专家（MoE）模型的预训练与强化学习两大核心场景，为开发者提供开箱即用的MUSA平台训练适配能力与系统级性能优化方案。

目前，Megatron-MUSA-Titan 已在摩尔线程自建万卡级集群中完成长期、稳定的万亿参数MoE模型预训练实践，验证了其高模型算力利用率（MFU）与长周期稳定训练能力。项目同时兼容主流强化学习框架 slime 与 miles，并可与 Megatron 分布式训练引擎及 SGLang 高效样本生成系统协同工作，首次实现从预训练到强化学习的端到端万亿参数MoE训练闭环。

技术层面，Megatron-MUSA-Titan 原生支持 blockwise FP8 训练，充分释放摩尔线程GPU的低精度计算潜力，显著提升超大规模模型训练的吞吐效率；并深度融合 DeepEP 专家并行调度模块与 ACE 异步通信引擎，优化MoE架构中Token动态路由分发与专家结果聚合流程，实现专家并行（EP）与计算任务的通算重叠，大幅降低通信等待开销，全面提升端到端训练效率。