字节跳动创始人张一鸣据报道再次向公司 Seed AI 团队强调:不要通过蒸馏竞争对手的模型输出来改进自家模型,即使这意味着短期内在性能榜单上落后。路透社援引相关报道指出,这是字节跳动愿意承担眼前代价、换取长期人工智能研发空间的一项选择。
1
这里所说的“模型蒸馏”,是指让能力更强的模型充当“老师”,用它生成的回答、推理过程或其他输出训练能力较弱的模型。这样做往往能节省训练时间和算力,更快复现部分能力。
但 Seed 担心,长期依赖这种方法,可能让自己成为一个能力很强的“追随者”:模型看似进步很快,研究方向却始终围绕另一家实验室的训练方法、评测标准和问题拆解方式展开。
4
9
这项规则是如何形成的?
2023 年:从 GPT 数据实验到内部禁令
据 Pekingnology 和 Pandaily 对中文报道的梳理,Seed 早期团队曾尝试使用 GPT API 生成的材料。字节跳动在 2023 年 4 月引入 API 调用审计后,团队据报制定了明确规则:GPT 生成的数据不得进入字节跳动的训练数据集。此后,这一原则又从 GPT 扩展到其他竞争对手模型。
9
14
这一区别很重要。相关报道描述的并不只是“不能调用某一家公司的专有 API”,而是更广泛的研发原则:无论是闭源模型,还是公开发布权重的模型,其他公司的系统都不应成为 Seed 的“老师”。
9
10
2025 年:DeepSeek-R1 让争论重新升温
2025 年 1 月,DeepSeek-R1 展示出较强的推理能力和效率,相关讨论据报再次出现在 Seed 内部。一些研究人员认为,使用更强的美国模型输出,可以作为自有训练工作的补充,从而更快提升推理能力。根据相关报道,张一鸣仍认为这属于借用外部能力,而不是建立真正属于 ByteDance 的能力。
9
需要注意的是,关于 DeepSeek 曾使用美国前沿模型合成数据的说法,在现有材料中仍属于行业猜测,并非已经独立证实的事实。这一点不能与 Seed 内部禁用竞争对手输出的报道混为一谈。
2026 年:短期追赶的诱惑更强
随着中国 AI 开发商在算力、模型能力和基准测试排名上展开激烈竞争,蒸馏的吸引力进一步上升。报道提到,Seed 研究人员持续关注快速进步的前沿系统,以及月之暗面推出的 Kimi K3——这类开放权重模型更容易被外部开发者检查,也可能成为训练数据来源。
9
14
在这种背景下,拒绝蒸馏已经不再只是抽象的研究偏好,而是一项现实的战略取舍:借助更强模型的输出,可能迅速缩小可测量的性能差距;拒绝这样做,则可能眼看着竞争对手更快提升。
然而,据报道,张一鸣在 2026 年 Seed 的一次全员会议上明确表示,即使团队暂时落后,也不应依赖竞争对手的前沿模型进行蒸馏。
1
10
为什么连开放权重模型也包括在内?
这项据报范围较广的禁令,关注的重点似乎不是“能不能访问”,而是“是否形成依赖”。通过 API 使用的闭源模型与开放权重模型,在授权条款和技术条件上当然不同;但从战略角度看,两者都可能让开发者直接学习另一家实验室已经找到的解决方案。
9
14
这并不意味着所有开放权重模型的使用都不合规,也不意味着不同形式的知识迁移完全相同。它更可能说明,Seed 的内部标准比一般针对未经授权 API 抓取的合规要求严格得多:据报道,团队被要求不要把其他公司的前沿模型当作“教师”,其中也包括开放权重模型。
10
14
Claude 相关指控为何让这项政策更受关注?
这项政策受到更多关注,还因为 AI 行业随后出现了围绕模型蒸馏的争议。Anthropic 曾指控阿里巴巴、DeepSeek、月之暗面、MiniMax 和智谱等公司通过账号或代理网络提取 Claude 的输出,用于训练;这项指控并未点名字节跳动。美国一名官员也曾单独指责月之暗面不当使用 Anthropic 模型训练 Kimi K3。这些目前仍是指控,并非现有材料已经确立的调查结论。
6
9
关键在于,据报道,Seed 的相关限制可以追溯至 2023 年,早于后来的政治和行业争议。因此,这些指控更像是凸显了张一鸣立场的重要性,而不是这一立场的起点。
9
张一鸣真正押注的是什么?
张一鸣据报反对蒸馏,核心并不是认为这种技术毫无用处,而是认为短期能力提升可能无法抵消长期依赖的代价。蒸馏确实可以较快改善模型的回答质量、推理表现或基准测试成绩;但如果研究团队反复使用竞争对手的输出进行训练,模型就可能逐渐适应对方的“智能架构”——包括它偏好的问题拆解方式、奖励信号、答案模式和评测目标。
9
10
Seed 选择的,是一条更慢、但更独立的道路:投入自己的数据、训练方法、模型架构和研究重点。代价也很直接——在竞争对手不断使用各种加速手段的情况下,Seed 可能在一段时间内落后于行业榜单。
这场选择的潜在回报,则是让 ByteDance 不必被当前领先者的设计所框定,并有机会探索真正不同的模型能力和研究路径。
因此,字节跳动的立场并不是“蒸馏没有技术价值”,而是认为“短期追赶未必值得牺牲长期独立性”。用一句话概括:Seed 据报宁愿暂时输掉今天的排名,也不愿用别人的答案来决定自己的明天。
1
9