张一鸣明确表态:字节跳动拒绝AI模型蒸馏,坚持自研长期路线

SmartHey8月6日消息,据两位字节员工向『The Information』爆料,在上个月的 Seed 团队全员大会上,张一鸣罕见公开表态:字节跳动不会将模型蒸馏作为提升AI能力的捷径,即便这意味着当前在大模型进展上暂时落后于国内同行。

报道称,张一鸣此前极少在 Seed 团队内部会议中发言。此次是在多位负责人就‘为何不采用蒸馏策略抢占市场先机’展开讨论后,他主动打破惯例作出回应。

张一鸣强调,字节跳动‘应当愿意为更长远的技术目标牺牲部分短期收益’,但未具体阐述这些长期目标的具体内涵与路径。

多位字节员工指出,公司对蒸馏技术的审慎态度,已成为其大语言模型迭代速度相对滞后于国内头部AI实验室的重要原因之一。

值得注意的是,字节跳动是国内主流AI企业中,唯一一家几乎完全依赖自研专有大模型、未大规模采用或深度参与开源模型生态的公司;而多数竞争对手正通过拥抱开源模型快速迭代与协同创新。

据内部人士透露,Seed 团队关于是否引入模型蒸馏的讨论已持续多年,分歧始终存在。

今年以来,随着国内多个高性能开源大模型密集发布,字节跳动面临的竞争压力进一步加剧。每当有具备显著性能突破的新开源模型面世,其内部关于‘是否转向蒸馏加速研发’的争论便会再度升温。

模型蒸馏的核心优势在于大幅降低训练成本——新模型可直接学习成熟模型的推理逻辑与知识表征,无需完全复现海量原始数据训练过程,从而节省大量算力与时间资源。