字节跳动推进万亿级模型训练

关键信息

据报道，这个模型的参数规模最高可达10万亿，约为月之暗面Kimi K3的三倍，后者被描述为目前已发布的最大中国模型。文章还指出，最终规模尚未确定，而且只有在预训练顺利完成后，模型才可能继续微调并发布。

资讯摘要

据报道，字节跳动正在推进一个规模庞大的AI模型训练项目，而中国公司仍在努力缩小与美国顶尖AI实验室之间的差距。三位知情人士称，这家公司正处于训练早期阶段，目标模型规模最高可达10万亿参数。文章指出，这一规模将显著超过月之暗面的Kimi K3，后者被描述为目前已发布的最大中国模型。该模型首先进行预训练，而这一阶段通常需要三到六个月。

只有在预训练顺利之后，字节跳动才会继续对模型进行微调，并在条件合适时考虑发布。报道同时提醒，模型的最终精确规模要到后续阶段才会确定。整体来看，这一消息反映出中国AI公司正加速追赶Anthropic等前沿系统的竞争态势。

资讯正文

字节跳动正在训练一款 AI 模型，其规模可能接近 Anthropic 最尖端的 Mythos 系统；随着中国公司不断缩小与美国顶级实验室之间的差距，这一举动凸显出它们的雄心。

据三位知情人士透露，这家中国科技巨头正处于训练一款最高可达 10 万亿参数模型的早期阶段——这比 Moonshot 迄今发布的最大中国模型 Kimi K3 大三倍。

其中一人表示，在一切顺利的情况下，字节跳动的这款模型将在后续进行微调并发布，而目前它正处于预训练阶段——这一阶段通常需要三到六个月。模型的确切规模要到后期才会最终确定。

来源与参考

1. 原始链接
2. ByteDance trains massive AI model in bid to rival Anthropic