百度 ERNIE 5.1：为什么 6% 预训练成本值得关注

这里的“预训练成本”也要读准。百度称约 6% 指向的是预训练阶段成本 。公开材料并没有把这个数字扩展为总研发成本、后训练成本、部署成本、推理成本、硬件效率或商业定价。换句话说，6% 不是一个可以直接套用到所有成本环节的数字。

百度博客还称，ERNIE 5.1 通过解耦式全异步强化学习和规模化智能体后训练，在智能体（Agent）、推理和创作能力上都有升级，并在 Arena Search Arena 上位列中国第一 。

为什么 6% 会引发关注

过去讨论大模型，经常绕不开“更大参数、更大数据、更大算力”。ERNIE 5.1 的叙事方向不同：百度强调的是在缩小模型体量、避免完整高成本预训练周期的同时，尽量保留有竞争力的模型能力 。

如果这条路线在更多场景中经得起验证，竞争重点就会从单纯“堆规模”转向“成本—性能工程”：谁更会复用已有基础，谁更会选择高效子模型，谁能减少每次计算实际调用的参数，谁能通过后训练改善模型行为。ERNIE 5.1 的重要性正在于，百度把这套逻辑明确写进了发布材料 。

百度称成本是怎样降下来的

1. 复用 ERNIE 5.0 的预训练基础

发布材料称，ERNIE 5.1 继承 ERNIE 5.0 的预训练基础 。这是成本叙事的起点：它被定位为从既有基础上演化出来的模型，而不是每一步都重新支付一次完整预训练成本。

2. 同时压缩总参数和激活参数

百度称 ERNIE 5.1 将总参数压缩到约三分之一、激活参数压缩到约二分之一 。简单说，总参数更接近模型的整体“体量”，激活参数则是一次计算中实际参与工作的那部分。两者都下降，才构成这次发布的效率看点。

3. 借助弹性训练的模型家族思路

ERNIE 5.0 技术报告提出一种“弹性训练”范式：一次预训练可以产出一组在能力与效率之间取舍不同的模型，而不是只优化一个固定架构 。报告称，该方法会按预设节奏动态采样不同深度、宽度和路由稀疏度的子模型，并让子模型从完整模型继承知识，用于后续后训练阶段 。

这有助于理解 ERNIE 5.1 的底层思路：它不是简单地“再训练一个更大的模型”，而更像是先形成一个可伸缩的基础，再从中派生出更高效的配置 。

4. 用后训练补强智能体与推理能力

百度称，ERNIE 5.1 依靠解耦式全异步强化学习和规模化智能体后训练，提升智能体（Agent）、推理和创作能力 。也就是说，百度的说法并不只是“模型变小了”，还强调后训练参与塑造了最终能力画像 。

仍然需要打问号的地方

最大问题是可验证性。现有公开材料没有给出完整训练预算、硬件配置、数据配比、训练时长、加速器利用率、后训练成本，也没有详细说明 6% 所比较的“同类模型”具体是谁、如何核算 。

这并不意味着该说法没有价值。更稳妥的读法是：百度称 ERNIE 5.1 通过继承、压缩、弹性训练思路与后训练，在自身模型规模上保住了领先基础能力，并显著降低了预训练成本 。但在更多细节披露或第三方验证出现前，它不应被当作已经盖棺定论的行业成本标准。

结论

ERNIE 5.1 的关键意义，在于百度把大模型进展从“规模竞赛”重新包装为“成本—性能竞赛”。百度称，该模型继承 ERNIE 5.0 的基础，压缩总参数和激活参数，并以同类模型约 6% 的预训练成本达到自身规模下的领先基础表现 。

因此，6% 很重要，但不能被过度解读。它是一个值得严肃看待的效率主张；在比较基准、硬件、数据和成本核算公开之前，还不是一个完全被验证的成本标尺。