Turing Award winner Richard Sutton says pure generative AI can't do real science

资讯摘要

Turing Award winner Richard Sutton says pure generative AI can't do real science Turing Award winner Richard Sutton argues that ordinary generative AI lacks a key ability for scientific discovery: it can't evaluate and develop its own results. Large language models, image generators, and video models learn from massive amounts of examples and produce outputs that resemble them. According to Sutton, when these outputs are good, it's usually thanks to the source material: the texts, images, or data the model learned from. When the outputs are truly novel, they go beyond that material.

资讯正文

图灵奖得主 Richard Sutton 认为，纯生成式 AI 无法做真正的科学研究

图灵奖得主 Richard Sutton 认为，普通生成式 AI 缺少科学发现的一项关键能力：它不能评估和发展自己的成果。

大型语言模型、图像生成器和视频模型从海量示例中学习，并生成与之相似的输出。Sutton 认为，当这些输出表现良好时，通常要归功于源材料：模型所学习的文本、图像或数据。当输出真正新颖时，它们就超出了这些材料。对于事实性问题，这就叫“幻觉”。

Sutton 用一则老研究者笑话来说明他的批评：“这项工作既新颖又优秀。不幸的是，优秀的部分并不新颖，而新颖的部分并不好。” Sutton 说，这一诊断适用于当今生成式 AI 的很大一部分。它可以模仿有用的东西，也可以随机生成新东西，但它无法自行判断哪些新想法 वास्तव上是好的。

Sutton 并不否认生成式 AI 可用于摘要、研究、助手或娱乐。新颖性甚至常常不是目标：摘要不应编造新事实，研究也不应偷偷加入额外主张。Sutton 说：“生成式 AI 即使只是模仿，也可能极其有用，只要它比被模仿的对象更快、更便宜、更小、更可定制，或者更容易复制。”

模仿在科学中并不够用

在 Sutton 看来，这条界限对于广义上的科学最为重要，因为科学的重点不是复现已有知识，而是发现新事物、检验它们，并把它们转化为持久的知识。

Sutton 将真正的发现描述为一个三步过程：变异、评估和选择性保留。一个系统必须生成不同的选项，测试它们，并持续使用有效的方法。Sutton 说，这一原则存在于进化、科学方法、规划、搜索以及强化学习之中。

纯生成式 AI 最缺少的是评估。语言和图像模型确实会生成不同变体。但如果没有测试，就没有最佳方案的筛选，也就没有发现。Sutton 说：“新颖性会短暂出现，但如果它的价值没有被识别出来，它就会闪现一下然后消失，最终被遗失。”

评估可以来自人类，例如当用户从多个 AI 生成的选项中挑选最佳图像时。但它也可以来自一个明确目标：将死、形式上有效的证明、成功运行的程序，或者模拟环境中的高奖励。只有这类反馈，才会把单纯生成转化为搜索和发现过程。

AlphaGo、AlphaFold 和 Claude Code 展示了这种差异

Sutton 说，一些超越纯生成式 AI 的系统已经“具备真正的创造力和真正的发现能力”。他举出了 AlphaGo 及其著名的第 37 手、具有独特国际象棋风格的 AlphaZero、用于蛋白质结构预测的 AlphaFold、数学领域的 AlphaProof、编程领域的 Claude Code，以及模拟赛车中的 GT-Sophy 等例子。

这些系统的共同点在于，它们有一个超越纯文本或图像生成的评估循环。围棋中的一步棋要么会提高获胜概率，要么不会。数学步骤可以被形式化验证，或者不能。代码要么通过测试、正常运行，要么失败。这就使得选择并推进更优解成为可能。

“所有这些系统都有一些额外特性，使它们能够实现真正的创造力和真正的发现，”Sutton 说。

Sutton 的批评明确针对“普通”的生成式 AI：那些在运行时不会评估自身输出的模型。把搜索、验证器、工具、强化学习或形式化校验器结合进去的语言模型，可以成为真正发现系统的一部分。但这种结构能在多大程度上超越编程、游戏以及那些可明确测试的任务，仍然是一个悬而未决的问题。

Sutton 认为神经网络的训练方式还存在另一个问题。标准网络从随机设置开始，然后从数据中学习。这种初始随机性是变化的来源，但它主要发生在一开始。随着时间推移，模型会因为内部结构变得僵化而丧失学习能力。

Sutton 认为，真正会学习的系统不应该只是被训练一次。它需要持续不断地更新自身结构：尝试新的可能性，保留有效的部分，丢弃无效的部分。他的目标是打造一种能够在长时间跨度内自主管理变化、评估和选择性保留的 AI。“让我们把创造力和发现彻底自动化吧！”他说。

Sutton 一段时间以来一直批评 AI 行业的发展方向

Sutton 最近更广泛地批评了 AI 行业，称其已经“迷失方向”。这位研究者主要是在反对那种对越来越大的语言模型的过度关注——这些模型在训练中吸收了海量知识，但不会随着时间推移从自身经验中学习。

相反，Sutton 呼吁开发与环境持续交互、从中学习、构建世界内部模型并制定新策略的 AI 智能体。元学习也被纳入他的设想：系统应该学会如何更好地学习，而不只是模仿单个任务。

在他的 Oak 架构中，Sutton 勾勒出了一条通往强大 AI 系统的可能路径。其核心思想是，智能体从没有内置的专业知识开始，在环境中行动，获得反馈，并随着时间推移形成越来越抽象的概念。那些有用的概念会成为下一阶段学习的基础。

Sutton 说，这一切最大的前提是可靠的持续学习。如今的神经网络往往很难在不覆盖旧知识或不丧失适应能力的情况下吸收新知识。

来源与参考

1. 原始链接
2. Turing Award winner Richard Sutton says pure generative AI can't do real science