百度 Ernie 5.1 大幅降低训练成本

关键信息

百度称 Ernie 5.1 的总参数量约为 Ernie 5.0 的三分之一，每次查询激活的参数量约为一半，并采用包含代码、推理和智能体任务专家模型的四阶段流程。该模型权重仍然没有开源，因此外界无法独立验证其公布的基准成绩。

资讯摘要

百度发布了 Ernie 5.1，并将其描述为从 Ernie 5.0 蒸馏出来的更小模型。百度称，这个版本在保持较强中文基准表现的同时，将预训练成本降到了同类模型的 6%。截至 5 月 9 日，Ernie 5.1 在 Arena Search Leaderboard 上获得 1,223 分，全球排名第 4，并且是中文模型中的第 1 名。百度表示，该模型使用了名为 “Once-For-All elastic training framework” 的方法，不再为每一种模型规模单独重复昂贵的预训练，而是在一次训练中同时优化一组不同大小的模型。百度说，Ernie 5.1 选取的是这组模型中的最佳配置，因此边际成本很低，因为大部分重计算已经在 Ernie 5.0 阶段完成。

百度还重建了强化学习基础设施，把模型更新、响应生成和评估拆成独立子系统，并由中央控制器协调，从而让各部分可以独立扩展。为了缓解训练与生成之间因计算设置不同而产生的漂移，百度加入了标准化低精度计算库，以及针对 mixture-of-experts 模型的修正机制。训练最后一阶段使用强化学习来处理开放式对话和创意任务，百度认为这一步很重要，因为师生蒸馏容易让输出过于“工整”，从而缺少多样性。该模型已经可通过 ernie.baidu.com 和百度 AI Studio 的 playground 使用，并将扩展到多个创意平台，但模型权重仍未开放。

资讯正文

百度的 Ernie 5.1 将预训练成本削减 94%，同时可与顶级模型竞争

要点

- 百度发布了 Ernie 5.1，这是从其更大的前代模型 Ernie 5.0 蒸馏而来的语言模型，在目前的中国 AI 基准测试中位居前列，同时资源效率更高。

- 该模型采用四阶段训练流水线，并为代码、逻辑和智能体任务设置了专门的专家模型，旨在防止不同能力在学习过程中相互干扰。

- Ernie 5.1 可通过百度的平台访问，并已集成到多种创意应用中，但模型权重仍然封闭，因此无法对其所报告的性能进行独立验证。

百度发布了 Ernie 5.1，这是一款建立在其前代产品 Ernie 5.0 的预训练基础之上的语言模型，但总参数量大约只有其三分之一，每次查询的激活参数量约为一半。

据百度称，其预训练成本仅为同类模型所需的 6%。截至 5 月 9 日，在 Arena Search Leaderboard 上，Ernie 5.1 的得分为 1,223 分——全球第 4 名，在中文模型中排名第 1。

Ernie 5.1 是基于前代模型缩小而来的较小模型

百度采用其所谓的“Once-For-All 弹性训练框架”，基于 Ernie 5.0 构建出 Ernie 5.1 这一更小的子模型。与其为每一种模型规模单独进行一次成本高昂的预训练不同，公司在一次训练过程中同时优化一整组不同规模的模型。

这些模型共享权重，但在深度、宽度以及针对某一查询会激活多少专门的专家模块上有所不同。百度从这一模型家族中选出了其认为最优的配置用于 Ernie 5.1，这也解释了其较低的预训练成本，因为最重的计算工作已经为 Ernie 5.0 完成。

此外，百度从零开始重建了其强化学习基础设施。传统上，关键组件——模型更新、响应生成和评估——是紧密耦合运行的。百度现在将它们作为可独立扩展的独立子系统运行，并由中央控制器协调。公司表示，每个组件都会获得合适的硬件，而某一步骤中的瓶颈不会阻塞其他步骤。

大模型强化学习中一个持续存在的挑战，是由于不同的计算设置而导致训练与示例生成之间出现漂移。这会使整个流程不稳定。百度通过标准化的低精度计算库，以及针对混合专家模型的校正机制来应对这一问题，在几乎不明显减慢速度的情况下将漂移减少了一半。

四阶段流水线应对“跷跷板效应”

百度采用四阶段微调流程来解决一个众所周知的问题：同时训练多种技能，往往意味着某一方面的提升会以牺牲另一方为代价。百度将这种现象称为“跷跷板效应”：编码能力、逻辑能力和创造力最终会彼此拖累。

该流水线首先是在一个大规模数据集上进行标准监督训练。第二阶段并行训练多个专门的专家模型，分别用于代码、推理和智能体任务，每个模型都有自己的评估信号。

在第三阶段，单个学生模型会同时向所有这些教师学习：它生成自己的答案，并将这些答案与专家输出进行比较。最后一个阶段加入了用于开放式对话和创意任务的通用强化学习。百度表示，这一步是必要的，因为师生蒸馏往往会产生过于精修、缺乏多样性的答案。

可在创意平台上使用，但没有开放权重

Ernie 5.1 可通过 ernie.baidu.com 以及百度 AI Studio 中的一个 playground 访问。该模型还将推广到十多个创意平台，包括角色扮演平台 Isekai Zero、创意智能体 Mulan AI、AI 画布应用 Diting Huanliu，以及短剧生成器 Storymaster。

与 Ernie 5.0 一样，百度没有发布模型权重，因此其基准分数和效率方面的说法无法独立验证。

百度在 2026 年 1 月发布的 Ernie 5.0 为这次更精简的版本奠定了基础。该模型采用统一架构处理文本、图像、音频和视频，并使用混合专家（mixture-of-experts）结构，总参数规模约为 2.4 万亿，每次查询激活的参数不到 3%。

来源与参考

1. 原始链接
2. Baidu's Ernie 5.1 cuts 94 percent of pre-training costs while competing with top models