Thinking Machines 发布 Inkling 开源权重模型

关键信息

Thinking Machines 表示，Inkling 并不是当前综合能力最强的模型，但它被设计为适合多模态任务、具有效率优势，并可通过 Tinker 平台进行微调。公司还预告了 Inkling-Small，它拥有 2760 亿参数、120 亿激活参数，但在测试完成前不会发布权重。

资讯摘要

Thinking Machines Lab 发布了 Inkling，这是他们推出的第一个开源权重模型，也是 AI 领域的一项重要新发布。公司将 Inkling 描述为一个 Mixture-of-Experts transformer，总参数量为 9750 亿，激活参数量为 410 亿。该模型采用 Apache-2.0 许可证，并在 45 万亿 token 的数据上训练完成，数据类型包括文本、图像、音频和视频。作者 Simon Willison 指出，这次发布附带的 model card 比许多美国 AI 实验室常见的文档要短得多。

训练数据说明也非常简短，主要表示公司使用了来自开放互联网和公共数据仓库的公开内容，以及部分第三方数据集，并承认其中一些数据可能涉及知识产权保护。Thinking Machines 也明确表示，Inkling 并不是当前综合能力最强的模型。相反，它被定位为一个适合定制的强基座模型，重点优势是多模态能力、较高的推理效率，以及可以在 Tinker 平台上进行微调。公司同时预告了 Inkling-Small，这个版本有 2760 亿参数、120 亿激活参数，但权重要等测试完成后才会发布。

来源与参考

1. 原始链接
2. Inkling: Our open-weights model