2026年10月30日，信息科学技术学院“知存讲座”顺利举办。本次讲座以“大规模分布式训练技术：点燃AI大模型的超级算力引擎”为主题，特邀曾锦乐博士担任主讲嘉宾。曾锦乐博士毕业于清华大学，长期深耕大模型训练基础设施研发、分布式训练性能优化与大规模集群容错，研究成果发表于ICML、NeurIPS、ICLR等国际会议。他曾带领团队在MLPerf Training中取得同等GPU配置下训练性能领先成绩，目前主要负责百度文心大模型预训练提效工作。本次讲座由集成电路学院助理教授贾天宇老师主持，包含主题分享和问答交流环节。

讲座现场：教室座无虚席，同学们全神贯注

讲座伊始，曾锦乐博士结合自身经历，回顾了从深度学习框架研发到大模型训练基础设施建设的技术演进。他指出，随着Scaling Law持续推动模型参数量、训练数据量和上下文长度增长，单张GPU已无法在合理时间内完成训练，也难以容纳参数、梯度、优化器状态与激活值。大模型训练因此同时面对算力、显存和通信三重约束，大规模分布式训练不是简单地“多用几张卡”，而是模型结构、并行策略、算子内核、集群网络和存储系统共同协作的复杂工程。

讲座现场：曾锦乐博士在讲台作分享

围绕“可训练”这一首要约束，曾锦乐博士介绍了混合精度、激活重计算和模型切分等关键技术。混合精度训练通过降低数值表示位宽减少显存占用并提升计算吞吐，但必须在效率与收敛精度之间取得平衡；激活重计算则以额外计算换取显存空间。多设备场景下，数据并行可以扩展训练吞吐，却不能单独解决模型过大问题，因此还需借助ZeRO切分参数、梯度和优化器状态，并结合张量并行、流水线并行等方式拆分计算图。不同并行维度需要按照NVLink、RDMA等互联层级合理布局，才能避免通信开销抵消扩展收益。

曾锦乐博士围绕“大规模分布式训练技术”展开分享

在模型能够运行之后，下一步是让每一份算力更快转化为有效训练进展。曾锦乐博士将训练效率概括为训练吞吐、有效训练占比和收敛效率三个方面，分别对应MFU、ETTR和EG等指标。他强调，在大规模集群中，只关注每卡吞吐远远不够：如果训练频繁中断，或恢复一次需要很长时间，大量GPU卡时就会被浪费。真正的训练提效既包括计算、显存、通信和并行策略优化，也包括故障感知、任务调度、环境恢复与检查点读写等系统能力。

随后，曾锦乐博士结合超高稀疏MoE、超长上下文、Muon优化器和多模态模型，分析新型大模型架构带来的挑战。MoE仅激活少量专家，却会引入动态路由、All-to-All通信与负载不均衡；超长上下文不仅增加Attention计算量，也对KV Cache、稀疏Mask和上下文并行提出更高要求；逐张量更新的Muon优化器改变了传统参数切分方式，在千卡、万卡规模下容易产生小消息通信和额外时延；多模态训练还要面对不同模态结构、分辨率、时长与序列长度差异。针对这些问题，团队从算子融合、灵活Attention、通信计算重叠和动态负载均衡等方向持续开展优化。

曾锦乐博士介绍大规模分布式训练的系统优化实践

讲座的另一条主线是大规模集群容错。曾锦乐博士指出，集群规模越大，主机、GPU、网络、存储或调度组件发生故障的概率越高。一次训练中断后的恢复并非简单重启，而要经历故障感知、处置决策、资源调度、环境准备、进程拉起和从检查点回退重算等多个阶段。他分享了静默数据损坏等隐蔽故障案例：GPU可能不报错，却对相同输入偶发产生不同结果。为此，团队通过确定性计算、一致性检测、硬件压测和自动化故障分析定位异常，并持续优化检查点保存与恢复流程，提升万卡集群的有效训练时间。

谈及未来方向，曾锦乐博士认为，分布式训练仍有大量依赖工程师手工调优的环节。并行策略、重计算点、通信编排和显存治理有望进一步走向自动化，借助代价模型、编译器和AI Agent完成搜索与调试。同时，算法设计不能只追求模型效果，还要考虑能否被高效切分、通信和执行；模型结构、系统软件与硬件拓扑之间的协同优化，将成为持续提升训练效率的重要路径。

在问答环节，同学们围绕训练基础设施方向所需能力、AI编程工具对人才评价的影响以及国内大模型训练进展等问题提问。曾锦乐博士表示，AI可以生成语法和样板代码，但不会自动抹平工程能力差距。相比单纯考查现场编程，他更关注学习能力、分析问题的思路，以及能否理解硬件和系统瓶颈、判断应当沿什么方向优化。对于希望进入相关领域的同学，扎实的基础知识、持续学习能力和真实工程实践仍然不可替代。

本次讲座在热烈掌声中圆满结束。通过曾锦乐博士的分享，同学们对大模型的训练方式有了更深的认识。信息科学技术学院“知存讲座”将持续开展，邀请信息科技领域的知名学者、产业领袖和优秀校友，为同学们搭建了解前沿技术和产业动态的桥梁，助力青年学子深化专业认知、探索未来发展方向。