A quote from Jeremy Howard

资讯摘要

10th June 2026 Easy solution to slow down recursive AI self improvement: The lab with the top-ranked model must agree THEY must not use it for working on frontier AI But everyone else should have access to it. By definition, this means the frontier doesn't advance. It also has the critical benefit of avoiding a dangerous power imbalance. Anthropic has chosen the opposite of the safe path: they are allowing themselves, the current top lab, to use their top model for frontier AI research. They've said they'll sabotage others who try. This means the AI frontier advances, & power imbalance increases.

资讯正文

2026年6月10日

遏制递归式 AI 自我改进的一种简单办法：排名第一的模型所属实验室必须同意，他们自己不能把它用于前沿 AI 工作；但其他所有人都应该能够使用它。按定义，这意味着前沿不会推进。这还有一个关键好处，就是避免危险的权力失衡。Anthropic 选择了与安全路径相反的做法：他们允许自己——当前排名第一的实验室——将他们的顶级模型用于前沿 AI 研究。他们还表示，会干扰任何试图这样做的其他人。这意味着 AI 前沿会继续推进，而权力失衡会加剧。（需要明确的是，我并不认为我们应该试图放慢递归式 AI 自我改进——我认为我们应该尽可能开放它，并最大限度地让它民主化。我的观点是：如果你声称我们应该放慢速度，而你又拥有最好的模型，那么你就应该确保你的组织不能使用它。）

遏制递归式 AI 自我改进的一种简单办法：

排名第一的模型所属实验室必须同意，他们自己不能把它用于前沿 AI 工作

但其他所有人都应该能够使用它。

按定义，这意味着前沿不会推进。

这还有一个关键好处，就是避免危险的权力失衡。

Anthropic 选择了与安全路径相反的做法：他们允许自己——当前排名第一的实验室——将他们的顶级模型用于前沿 AI 研究。他们还表示，会干扰任何试图这样做的其他人。

这意味着 AI 前沿会继续推进，而权力失衡会加剧。

（需要明确的是，我并不认为我们应该试图放慢递归式 AI 自我改进——我认为我们应该尽可能开放它，并最大限度地让它民主化。我的观点是：如果你声称我们应该放慢速度，而你又拥有最好的模型，那么你就应该确保你的组织不能使用它。）

——Jeremy Howard，发布于一串 Twitter 线程中

来源与参考

1. 原始链接
2. A quote from Jeremy Howard