Soofi S 开源 30B 模型领跑德英基准

关键信息

Soofi S 总共有 316 亿参数，但每个 token 只激活约 32 亿参数，并采用了基于 Nvidia Nemotron 3 Nano 的混合架构，结合了 Mamba-2 和注意力层。报告称，在 52 层中只有 6 层维护 KV cache，而且在 4000 到 256000 token 的上下文范围内吞吐量几乎保持平稳，在 40000 token 上下文和 32 路并发请求时表现尤其突出。

资讯摘要

德国一个研究联盟发布了 Soofi S 30B-A3B，这是一款开源语言模型，团队称它在德语和英语基准上都刷新了完全开放模型的最高水平。该项目由 KI Bundesverband 协调，并且完全在德国电信位于慕尼黑的 Industrial AI Cloud 上训练完成。报道指出，Soofi S 是首批端到端在这套基础设施上训练的大语言模型之一。该模型采用的是混合的 Mixture-of-Experts 风格设计，而不是传统的稠密 Transformer。它虽然一共有 316 亿参数，但每个 token 只激活约 32 亿参数，因此计算开销更接近一个较小模型。其架构基于 Nvidia 的 Nemotron 3 Nano，并结合了 Mamba-2 层和标准注意力层。

这个设计还减少了 KV cache 的压力，因为 52 层里只有 6 层维护这种缓存。报告称，该模型在非常长的上下文下吞吐量几乎保持不变，在 40000 token、32 路并发请求时，每个 GPU 的生成速度大约是 140 亿到 240 亿参数稠密模型的 8 倍。训练过程分为三个阶段，总计约 27 万亿 token：先用广泛的语言和推理数据进行基础训练，再用更高质量的数据进行精炼，最后用最长可达 100 万 token 的文档进行长上下文训练。数据配比刻意偏向德语，第一阶段德语占 7.2%，第二阶段升至 15.3%，远高于 Nvidia 参考配方中非英语语言合计约 5% 的比例。训练语料包括来自 HPLT 的德语网页文本、German Commons 语料库、FinePDFs 和 FineWiki 的德语部分、Genios 新闻语料库，以及机器翻译和合成生成的德语文本。在与另外 16 个开源模型的评测中，Soofi S 在德语和英语综合得分上都领先完全开放模型，并且在编程任务上也表现很强，超过了 OLMo 3 32B 和 Apertus 70B 等模型。

来源与参考

1. 原始链接
2. German AI consortium releases Soofi S, an open 30B model that tops benchmarks in both English and German