PyTorch TorchTitan升级至v0.3.0：全面支持MoE与强化学习，成千卡级大模型训练主流开源框架

SmartHey10月23日消息，PyTorch 官方近日宣布，TorchTitan 项目完成重大升级，正式发布 v0.3.0 版本。该版本标志着 TorchTitan 已从基础训练框架跃升为覆盖全链路的大模型开发工具栈，在分布式并行、低精度训练、多硬件适配及强化学习拓展四大核心能力上实现全面补齐，并原生支持十余款主流大模型，大规模集群训练的性能与稳定性显著提升。

此次技术突破的关键在于开发团队对分布式训练底层逻辑进行深度重构，统一采用 SPMD（Single Program, Multiple Data）架构，并协同 TorchAO（量化优化）、TorchFT（故障容错）等官方配套工具开展一体化性能调优；同时联合 AMD 及多家主流云服务厂商，完成跨 GPU 架构（包括 AMD MI300 系列与 NVIDIA Hopper/Ampere）的兼容性验证与实测优化。整个迭代过程严格遵循四阶段路径：版本规划 → 模块开发 → 多集群联调 → 开源公测。其中，v0.2 版本聚焦稠密大模型训练能力构建，v0.3 版本则重点集成 MoE（Mixture of Experts）模型训练支持与全新 TitanRL 强化学习模块，并最终完成全平台适配与端到端性能调优。

经过一年持续演进，TorchTitan 已成为 PyTorch 生态中面向大模型预训练的主力开源框架，稳定支撑上千张加速卡规模的集群训练任务，全面覆盖稠密模型、混合专家模型（MoE）、多模态模型及强化学习模型等多种范式，显著降低开发者构建超大规模模型训练基础设施的技术复杂度与工程成本。