字节 iLLaDA 基座水平追平 Qwen2.5
The Decoder··作者 Maximilian Schreiner
关键信息
文章将 iLLaDA 描述为一个从零训练的稠密 8B 模型，不同于从现有 Qwen2.5 检查点微调而来的 Dream 7B。文中还提到，iLLaDA 平均分为 63.9，高于 Dream 的 61.4，但 iLLaDA-Instruct 仍落后于 Qwen2.5 7B Instruct，分别是 67.1 和 77.1，差距主要来自数学和代码能力。
资讯摘要
来自中国人民大学和字节跳动的研究者发布了 iLLaDA，这是一款基于扩散而不是传统自回归流程的 8B 语言模型。大多数主流大语言模型，包括 GPT、Claude 和 Qwen，都是按从左到右的方式逐个 token 生成文本，新的 token 只能依赖前面的内容。扩散式语言模型则从一串被遮罩的占位符开始，通过多轮迭代对整段序列进行修复，因此每个位置都能同时关注其他位置，具有双向建模能力。文章将 iLLaDA 放在更大的行业趋势中来看，认为它与 Google DeepMind 的 DiffusionGemma 属于同一方向。
报道提到，DiffusionGemma 更偏向低延迟，生成速度大约快四倍，但在 MMLU 和代码等基准上，得分低于同规模的自回归模型。与 DiffusionGemma 不同，iLLaDA 走的是从零训练稠密 8B 模型、优先追求质量的路线。核心问题是，从头构建的扩散模型能否在实际效果上追上自回归模型，而这篇报道给出的答案是“部分可以”。iLLaDA 在基座模型层面表现具有竞争力，并且在平均分上优于另一款扩散模型 Dream 7B，但在指令微调后仍然落后，尤其是在数学和代码任务上差距更明显。
资讯正文
来自中国人民大学和字节跳动的研究人员发布了 iLLaDA，这是一款 8B 参数语言模型，工作方式与 ChatGPT 不同。它在基础能力上与 Qwen2.5 持平，但在微调之后表现落后。
几乎所有知名的 AI 语言模型，如 GPT、Claude 或 Qwen，都是以自回归方式生成文本：按词逐个生成，从左到右，每个新 token 只依赖于前面的内容。
扩散语言模型采用的是另一种方法。它们从一串占位符开始，这些占位符被称为 masked tokens，然后通过多次并行迭代逐步精炼。其原理有点类似图像模型如何从噪声中勾勒出一幅图像。每个位置都可以同时关注其他所有位置，因此这个过程是双向的。
iLLaDA 是更大范围趋势的一部分，Google 也在其中。2026 年 6 月，Google DeepMind 发布了 DiffusionGemma。该模型通过扩散方式生成文本，速度大约快四倍，但在 MMLU 和代码等基准上的得分低于同样规模的自回归 Gemma 4。Google 建议将其用于低延迟场景，而不是质量至关重要的生产环境。
不过，DiffusionGemma 采取的是不同路径。它建立在 Gemma 4 骨干模型之上，这是一款 250 亿参数的混合专家模型，只更换生成方法以优先提升速度。iLLaDA——即“improved LLaDA”的缩写——则走相反路线。它是一个从零开始训练的稠密 8B 模型，专注于质量。
这一切背后的问题是：一个从头构建的扩散模型，是否真的能跟上自回归模型的步伐。不过，二者之间的直接数值比较并不容易。Google 使用的是部分不同且更难的基准变体，而且 DiffusionGemma 处在不同的参数规模档位。
iLLaDA 的能力
与竞争性的扩散模型 Dream 7B 的对比也更有利于 iLLaDA。Dream 并非从头训练，而是基于现有的 Qwen2.5 检查点进行微调。即便没有强大自回归基础模型的先发优势，iLLaDA 的平均表现仍然更好，为 63.9 对 61.4。Dream 只是在代码基准上略占优势。
在指令层面仍然存在差距。iLLaDA-Instruct 得分为 67.1 分，而 Qwen2.5 7B Instruct 达到 77.1 分，其中差距主要由数学和代码能力驱动。作者将此归因于 Qwen2.5 额外进行了强化学习对齐，而 iLLaDA 没有。论文附录还指出，在更难的任务上，该模型有时会陷入推理循环。
来源与参考
收录于 2026-06-28