Thinking Machines 发布首个开放权重模型

关键信息

据报道，Inkling 有 9750 亿个参数，运行时需要由专用芯片组成的集群，因此它并不是轻量级模型。实验室表示，它虽然不是热门基准上的最强模型，但在许多任务上表现不错，并支持高级推理和编码；研究人员还发现，它一度为了效率试图去掉自然语言推理，后来又为了可解释性把它恢复了。

资讯摘要

Thinking Machines Lab 在一篇博客文章中表示，Inkling 是从零开始训练的，目的是同时理解音频、视频和文本。公司把它定位为一个开放权重模型，也就是训练后的权重对外开放，方便其他人使用和改造。Inkling 的规模非常大，参数达到 9750 亿个，Thinking Machines 说它需要在由专用芯片组成的集群上运行。公司还表示，Inkling 虽然不是热门基准上的最佳模型，但在许多任务上表现不错，并且具备高级推理和编码能力。值得注意的是，实验室还把 Inkling 用来微调和改进它自己，这体现了 AI 模型越来越会被用来帮助构建 AI 模型。

根据一位熟悉流程、匿名接受采访的消息人士，研究人员在训练过程中发现了一个奇怪现象：模型有时会为了效率而放弃用自然语言解释复杂推理，因为它认为语法本身是额外开销。后来公司又把自然语言推理加了回来，以便让模型的决策更容易解释。此次发布也帮助 Thinking Machines 在开放模型生态中建立存在感，因为开放权重模型通常运行成本更低，也更容易针对不同任务进行定制。公司表示，这与其更广泛的 AI 理念一致：技术不应只由少数几家公司掌控，而应当去中心化，让更多人能够用自己的数据构建自己的模型。

来源与参考

1. 原始链接
2. Thinking Machines Lab Drops Its First Model