腾讯发布Hy3开源MoE模型

关键信息

Hy3采用稀疏的MoE设计，每次输入只激活部分专家，因此总参数和激活参数之间会有很大差异。腾讯公布的5.4%幻觉率是一个值得注意的说法，但应将其视为厂商披露的数据，而不是独立验证过的基准结果。

资讯摘要

腾讯发布了Hy3，这是一款采用混合专家（MoE）架构的开源语言模型。该模型总参数规模为2950亿，但在任意时刻只激活210亿参数。腾讯表示，这种设计让Hy3能够达到规模大两到五倍的模型的表现。腾讯还称，该模型的幻觉率已经减半，降至5.4%。

从实际意义上看，Hy3被定位为一款兼顾规模与效率的大模型。此次发布之所以值得关注，是因为MoE模型会针对每个词元只激活网络的一部分，相比同等总参数规模的稠密模型，可能带来更低的计算开销。根据The Decoder的报道，这一消息目前主要来自官方发布，文章中没有给出独立基准测试细节或社区反馈。

资讯正文

腾讯发布了 Hy3，这是一款基于混合专家（mixture-of-experts）架构构建的开源语言模型，拥有 2950 亿个参数。在任何给定时刻，只有 210 亿个参数处于激活状态。腾讯表示，Hy3 的表现可与体量大两到五倍的模型相媲美，同时将其幻觉率减半，降至 5.4%。

来源与参考

1. 原始链接
2. Tencent releases Hy3 open-source model that allegedly matches models up to five times its active size