Vinyals称人工智能将渐进式自我改进,不会引发智能爆炸

The Decoder··作者 Manuel Uth

关键信息

Vinyals认为,现有系统已经擅长编程和实验,但仍缺乏判断哪些想法值得研究的“研究品味”,也缺乏可靠的评估方法来区分真正进步与钻指标空子的行为。自我改进可能涉及修改模型权重、训练数据、训练方法、提示词、外部工具或进度指标,而每一项都会带来不同的技术和监管挑战。

资讯摘要

最近离开Google DeepMind研究副总裁职位的Oriol Vinyals在2026年Agentic AI Summit上讨论了递归式自我改进。虽然他认为人工智能的自我改进不可避免,但不认为这会造成突然发生、不断自我加速的智能爆炸。他预计人工智能可以让部分研究和工程任务提速十倍以上,但认为更广泛的自我改进在测量和实际执行方面仍然困难。一个系统可能修改自己的神经网络权重、训练数据、训练方法、指令、外部工具,甚至用于判断自身进步的指标。

Vinyals将这一过程拆分为提出有前景的想法、用代码实现、通过实验测试,以及可靠地评估结果。当前人工智能在编程和实验方面已经相对出色,但提出值得研究的想法和评估实验结果仍是最大瓶颈。现有的SWE-Bench Pro和ML-Bench等基准主要衡量实现与实验能力,还可能诱发过拟合或只优化分数而没有实现真正目标的行为。Vinyals与Discovery Loop的联合创始人希望自动化完整的科学研究流程,并在早期阶段让人类与机器协作提出假设,再通过实验不断改进。

Vinyals称人工智能将渐进式自我改进,不会引发智能爆炸

资讯正文

前 DeepMind 副总裁 Vinyals 表示,AI 自我改进即将到来,但不会引发智能爆炸

直到不久前还担任 Google DeepMind 研究副总裁的 Oriol Vinyals 认为,AI 系统的递归式自我改进不可避免,但这一过程会很缓慢,目前看不到智能爆炸的迹象。他如今正创办一家初创公司,着手解决阻碍这一进程的两大瓶颈。

离开 Google DeepMind 数日后,Oriol Vinyals 在 2026 年 Agentic AI Summit 上谈到了递归式自我改进(RSI),这是当前 AI 研究中的热门话题。他解释了自己为何认为 RSI 不会导致突然的智能爆炸。Vinyals 曾担任 DeepMind 研究副总裁,并参与 AlphaStar、AlphaCode 和 Gemini 等项目。

Vinyals 认为,自我改进很难衡量,在实践中实现则更加困难。AI 将把某些研究和工程任务的速度提高 10 倍甚至更多,但他认为,突然出现、自我加速的智能爆炸不太可能发生。

“自我改进”究竟意味着什么?

Vinyals 提出的第一个问题是:究竟应该改进什么?一个 AI 系统包含许多组成部分,其中任何一个都可能发生变化。它可以调整神经网络的权重,替换训练数据,或重新设计训练方法。它还可以调整自己在每次查询中接收的指令,或者重建数据库访问、代码执行等外部工具。同样,它也可以改变用于追踪自身进展的指标。每一种变化都会带来不同的技术和监管挑战。

Vinyals 表示,一个试图自我改进的 AI 系统需要一个有前景的想法、能够实现该想法的代码、用于测试的实验,以及一种可靠的方法来判断这项改变是否确实带来了帮助。AI 已经在中间两个步骤上取得进展,但想法生成和结果评估仍是 AI 系统的短板。

寻找想法和评判结果仍是两大瓶颈

如今,各实验室主要通过 SWE-Bench Pro 或 ML-Bench 等能力基准,间接衡量自我改进:不断攀升排行榜,同时希望自我改进能作为副作用自行出现。这些测试成本低且定义明确,但主要覆盖实现和实验环节,而这两步恰恰已经能够较好地完成。

此外,过拟合和谋略行为也是现实存在的问题。Vinyals 多年来一直在构建游戏智能体,因此深知系统会以出人意料的方式利用目标:它们击败的是评分系统,而不是真正地进行游戏。

前 DeepMind 副总裁 Vinyals 表示,AI 即将实现自我改进,但不会引发智能爆炸

更有意义的基准测试应当直接检验自我改进能力,而首批此类测试已经开始出现。研究人员为一个系统设定一项指标和一份计算预算,然后衡量它能在多大程度上自我改进。这种方法成本高昂,因为每次评估都需要让一个智能体花费数小时完成一些与最终目标相去甚远的任务。Vinyals 举了一个例子:智能体优化的是俄罗斯方块,而真正的目标却是实现整个研究实验室的自动化,并构建出世界上最优秀的模型。

想法生成同样处于欠发达状态。优秀的研究需要一种判断哪些想法值得尝试的直觉,Vinyals 称之为“研究品味”(research taste)。在大语言模型训练领域,还没有人真正研究过如何教授这种能力。

他预计,未来的评估不仅会衡量一个系统取得了多大程度的改进,还会衡量它是如何实现改进的。对于想法而言,这意味着采用会议评审人员所使用的相同标准:原创性、优雅性、效率,以及某项技术能否经受时间的考验。其中一部分可以通过规则加以捕捉,并借助奖励模型进行检查,随后再通过强化学习进行训练,但要做到这一点非常困难,也需要更多时间。人工评审流程同样成本高昂,而且在发现优秀想法方面也并不特别擅长。

Vinyals 还指出了严苛的物理限制。芯片的计算速度不可能超越其设计和光速所允许的范围,因此,即便 AI 设计出了更好的算法,它仍然受限于运行该算法的硬件。在某些领域,人类的表现可能已经接近上限。Vinyals 说,与完美的围棋对局相比,AlphaGo 到底有多强?没人知道。

Discovery Loop 希望实现整个研究周期的自动化

Vinyals 正在通过 Discovery Loop 将自己的分析付诸实践。这是一家由他与担任 CEO 的 Jeff Dean、Google 高级院士 Sanjay Ghemawat 以及 Google Brain 联合创始人 Quoc Le 共同创办的初创公司。该公司希望实现完整科学循环的自动化,从提出假设、开展实验到评估结果,其中包括 AI 目前仍然不擅长的两个环节。四位创始人中有三位是引用次数最多的 AI 研究人员之一,而 Ghemawat 则是分布式系统领域引用次数最多的研究人员之一。

正如 Dean 所说,团队计划首先实现 AI 研究的自动化,并让 Discovery Loop 成为自己的第一个客户。之后,他们还将涉足其他科学领域。创始人在公司网站上描述了这样一个未来:“少数几个人就能比今天由大规模科学家和工程师团队完成科学研究与工程任务的速度更快、质量更高。”Vinyals 承认,想法生成仍是最困难的部分,因此在早期阶段,人类和机器将共同提出假设。

来源与参考

  1. 原始链接
  2. Ex-Deepmind VP Vinyals says AI self-improvement is coming but won't trigger an intelligence explosion

收录于 2026-09-12