腾讯发布 Hy4 Preview

关键信息

该模型只支持文本输入，不具备视觉能力；其聊天模板显示推理模式只有两种：默认的“high”和“no_think”。与 7 月发布的 Hy3 相比，Hy4 Preview 从 295B 总参数、21B 激活参数、256,000 token 上下文窗口提升到了 770B、49B 和 100 万 token。

资讯摘要

腾讯发布了 Hy4 Preview，这是一款新的开源权重纯文本 LLM。公告显示，该模型拥有 770B 总参数、49B 激活参数，并支持 100 万 token 的上下文窗口。该模型也已上传到 Hugging Face，整体体积为 1.56TB。Simon Willison 指出，这相比腾讯 7 月发布的 Hy3 有明显提升：Hy3 只有 295B 总参数、21B 激活参数、256,000 token 上下文窗口，下载体积为 598GB。

作者还查看了 Hugging Face 上的 chat template，发现推理强度似乎只有两个选项：默认的“high”和“no_think”。为了测试模型能力，他通过 OpenRouter 输入了“生成一只骑自行车的鹈鹕的 SVG”这一提示。结果图像成功生成，说明模型能较好地执行该类任务。作者引用的推理轨迹显示，隐藏推理文本使用的是略微截断的英语，这让他推测，在隐藏推理中，语法完整性可能并不如 token 效率重要。

来源与参考

1. 原始链接
2. Introducing Hy4 Preview