Recursive Superintelligence 亮相,押注自我改进 AI

TechCrunch AI··作者 Russell Brandom

关键信息

Socher 将这种方法描述为通过“open-endedness”实现真正的递归式自我改进,也就是把研究想法的提出、实现和验证全部自动化。文章还提到 Tim Rocktäschel 在 open-endedness、自我改进以及 Rainbow Teaming 方面的工作,后者使用对抗式 AI 系统进行多轮迭代,以更全面地测试不安全输出。

资讯摘要

Richard Socher 曾因创办 You.com 以及更早在 ImageNet 相关工作而广为人知,如今他又参与创立了 Recursive Superintelligence。这家位于旧金山的初创公司在周三结束隐身状态,并宣布获得 6.5 亿美元融资。除了 Socher,团队还包括 Peter Norvig、Cresta 联合创始人 Tim Shi,以及 Tim Rocktäschel 等知名研究人员。公司的核心目标非常激进:打造一个能够递归式自我改进的 AI 模型,让系统自主识别自身弱点并重新设计自己,而不需要人类介入。Socher 说,他们追求的不是简单的“auto-research”,因为那只是让 AI 去改进某个任务或某个模型,而不是真正的递归自我改进。

在他的设想里,研究想法的提出、实现和验证整个流程都应该自动化,并在大规模上运行。Socher 认为,这种能力最先会出现在 AI 研究上,之后可能扩展到其他研究领域,甚至物理世界中的问题。采访中他还把这个方向与“open-endedness”联系起来,强调系统需要持续产生新行为和新能力。文章提到 Tim Rocktäschel 在 Google DeepMind 的相关工作,以及 Rainbow Teaming 这类方法,它通过两个 AI 反复对抗来发现更多不安全输出,从而逐步提高系统安全性。

Recursive Superintelligence 亮相,押注自我改进 AI

资讯正文

理查德·索彻(Richard Socher)在人工智能领域已经是重要人物有一段时间了,他最为人熟知的是创办了早期聊天机器人初创公司 You.com,而在此之前,他曾在 ImageNet 相关工作中发挥作用。如今,他加入了当前这一代以研究为导向的 AI 初创公司阵营,创办了 Recursive Superintelligence。这家位于旧金山的初创公司于周三低调亮相,并披露获得了 6.5 亿美元融资。

在这项新事业中,索彻与一批知名 AI 研究人员并肩作战,其中包括彼得·诺维格(Peter Norvig)和 Cresta 联合创始人 Tim Shi。他们正一起努力打造一种递归自我改进的 AI 模型,这种模型能够自主识别自身弱点并重新设计自己来修复这些问题,而无需人类介入——这一直是当代 AI 研究长期追求的圣杯。

发布之后,我在 Zoom 上与他进行了交谈,深入了解 Recursive 的独特技术路线,以及为什么他并不把这个新项目看作是 neolab——这是业界对新一代 AI 初创公司的非正式称呼,这类公司更重视研究,而不是构建产品。

这次采访经过了长度和清晰度方面的编辑。

我们最近经常听到“递归”这个词!感觉它已经成了不同实验室之间非常常见的目标。你认为你们的独特方法是什么?

我们的独特方法是利用开放式演化(open-endedness)来实现递归自我改进,而这件事至今还没有人做到。这对很多人来说都是一个难以捉摸的目标。很多人已经默认,只要做自动化研究就会发生这种事。你知道,你可以让 AI 去让别的东西变得更好,比如一个机器学习系统,或者你写的一封信,或者别的什么,对吧?但那不是递归自我改进,那只是改进。

我们的主要重点,是以规模化方式构建真正递归、自我改进的超级智能,这意味着研究想法的整个构思、实现和验证过程都将实现自动化。

首先,它会自动化 AI 研究想法;最终也会自动化任何类型的研究想法,甚至最终扩展到物理领域。但当 AI 在对自己进行工作、并发展出一种新的自我意识,意识到自身短板时,这种能力尤其强大。

你用了“开放式演化”这个词——它有特定的技术含义吗?

有的。事实上,我们的联合创始人之一 Tim Rocktäschel 曾在 Google DeepMind 领导开放式演化和自我改进团队,并且尤其参与了世界模型 Genie 3 的工作,这是开放式演化的一个很好的例子。你可以告诉它任何概念、任何世界、任何智能体,它都会把它创造出来,而且是可交互的。

在生物进化中,动物适应环境,而其他物种又会对这些适应作出反向适应。这就是一个可以持续进化数十亿年的过程,而有意思的事情会不断发生,对吧?这就是我们是如何在脑袋里进化出眼睛的。

另一个例子是 rainbow teaming,这是 Tim 的另一篇论文中的概念。你听说过 red teaming 吗?

在网络安全中,它的意思是——

所以,red teaming 也必须在 LLM 场景下进行。基本上,你会尝试诱导 LLM 告诉你如何制造炸弹,而你要确保它不会这么做。

现在,人类可以坐在那里很久,想出各种有意思的例子,说明 AI 不该说什么。但如果你先用第二个 AI 去测试第一个 AI,而第二个 AI 的任务是让第一个 AI [试着] 说出所有可能的坏话呢?然后它们就可以来来回回地进行数百万次迭代。

你实际上可以让两个 AI 共同进化。一个不断攻击另一个,然后想出的不只是一个角度,而是很多不同的角度,因此就有了那个彩虹的类比。接着,你就可以给第一个 AI 接种“免疫”,让它变得越来越安全。这个想法来自 Tim Rocktaeschel,现在所有主要实验室都在使用。

你怎么知道什么时候完成了?我想它永远不会完成。

有些事情永远不会完成。你总是可以变得更聪明。你总是可以在编程、数学等等方面做得更好。智力是有一些边界的;我现在实际上正在试图把这些形式化,但那些边界大得惊人。我们离那些极限还非常非常远。

作为一家 neolab,感觉你应该在做一些主要实验室没在做的事情。所以这里的一个含义是,你并不认为主要实验室会通过他们现在正在做的事情达到 RSI [recursive self-improvement,递归自我改进]。这么说公平吗?

我不太方便评论他们具体在做什么,但我确实认为我们采取的方式不同。我们非常拥抱“开放式终局性(open-endedness)”这个概念,而我们的团队完全专注于这个愿景。过去十年里,团队一直在研究这个方向,并在这个领域发表论文。而且,团队有着真正推动这个领域大幅前进并交付真实产品的记录。你知道,Tim Shi 把 Cresta 做成了独角兽公司。Josh Tobin 是 OpenAI 最早的一批人之一,后来领导了他们的 Codex 团队和深度研究团队。

实际上,我有时会对这个 neolab 类别有点纠结。我觉得我们不只是一个实验室。我希望我们能成为一家真正可行的公司,真正拥有令人惊叹、让人们喜欢使用、并对人类产生积极影响的产品。

那你们打算什么时候发布第一款产品?

这件事我想过很多。团队已经取得了很大进展,我们可能会把最初设想的时间表提前。不过是的,产品会有的,而且你们需要等的是几个季度,而不是几年。

围绕递归自我改进的一个想法是,一旦我们拥有这种系统,算力就会成为唯一重要的资源。你让系统运行得越快,它改进得就越快,而不会有任何外部的人类活动真正起作用。所以竞争就变成了,我们能往里砸多少算力?你认为我们会走向这样的世界吗?

算力不容低估。我认为在未来,一个非常重要的问题会是:人类愿意投入多少算力来解决哪些问题?这里是癌症,那里是那种病毒——你想先解决哪一个?你愿意给它多少算力?最终这会变成一个资源分配的问题。它将会成为世界上最大的问题之一。

来源与参考

  1. 原始链接
  2. What happens when AI starts building itself? | TechCrunch

收录于 2026-05-15