Google 把“更快的文本生成”做成开放实验
DiffusionGemma 以开源权重、MoE 架构和扩散式生成挑战逐 token 解码范式，重点瞄准低延迟、本地推理和文本编辑类任务，但 Google 也承认它并非在所有场景都比自回归模型更好。
·#llm
Google 发布开源 DiffusionGemma 文本模型
Google 发布了 DiffusionGemma，这是一个采用扩散式文本生成的 Apache 2.0 开源权重 Gemma 模型。NVIDIA 目前也在其 NIM 云 API 上免费托管了该模型。
这很重要，因为它把基于扩散的生成带到了一个开发者可以自行查看、微调和部署的开放模型中。如果其速度表现能在真实场景中成立，它可能会成为对交互式文本生成这类低延迟场景更快的替代方案。
Google 推出了 DiffusionGemma，这是一个实验性的开放模型，重点探索“文本扩散（text diffusion）”这种生成方式。与传统自回归 LLM 逐个 token 解码不同，它可以并行生成整块文本，从而降低延迟。该模型以 Apache 2.0 许可发布，并属于 Gemma 系列，Google 将其定位为建立在 Gemini 同源研究基础上的开放模型。Google 表示，DiffusionGemma 更适合需要速度和交互性的本地工作流，而不是作为常规生产场景中自回归 Gemma 4 模型的直接替代品。公司强调，该模型使用了新的 diffusion head 来提升生成速度。
根据官方说明，26B 的 MoE 架构在推理时只激活 3.8B 参数，量化后可在高端消费级 GPU 上以 18GB VRAM 左右运行。Google 还声称它在 GPU 上可实现最高 4 倍速度提升，在 NVIDIA H100 上可达到 1000+ tokens/秒，在 GeForce RTX 5090 上可达到 700+ tokens/秒。Simon Willison 使用 NVIDIA 免费托管的 NIM API 做了实测，生成 2409 个 token 只用了 4.4 秒，折算下来至少有 500 tokens/秒。整体来看，这次发布把此前的 Gemini Diffusion 研究重新带回公众视野，而且以开放模型和可直接调用的 API 形式提供出来。
Google 将 DiffusionGemma 描述为一个 260 亿参数的 Mixture of Experts 模型，在推理时只激活 38 亿参数。公司称其速度最高可达典型自回归 LLM 的 4 倍，在量化后于 NVIDIA H100 上可达到 1000+ tokens/秒，在 GeForce RTX 5090 上可达到 700+ tokens/秒。
