人工智能领袖支持独立监督,安全争议持续
The Decoder··作者 Matthias Bastian
关键信息
据报道,Altman 已在六月向内部员工传达推迟上市的决定;文章指出,安全担忧和当前财务状况不佳可能同时发挥了作用。Milanfar 认为自我改进反馈回路本身不稳定,因此可靠的进步会受到治理、抑制、速度放缓和边界约束,并且必须依赖现实世界证据,而不能只依赖基准测试。
资讯摘要
文章称,多位人工智能领域的重要人物正在逐渐形成共识,认为人工智能实验室内部需要独立监督。OpenAI 首席执行官 Sam Altman 和 Elon Musk 支持放慢人工智能开发的呼声,而前 DeepMind 首席执行官 Demis Hassabis 也至少部分认可 Anthropic 首席执行官 Dario Amodei 的提议。由于这些领导者在人工智能战略、风险判断和开发速度方面存在明显差异,这种共同立场尤其值得关注。Musk 的支持与他多年来公开警告人工智能风险的立场一致。
Altman 还向《财富》表示,OpenAI 今年不会上市,并将安全问题列为原因之一;他此前已在六月向内部传达这一决定。文章同时指出,与 Anthropic 相比,OpenAI 当前的财务状况可能也是推迟上市的原因,两种解释并不矛盾。Google 研究员 Peyman Milanfar 则反驳了递归自我改进必然带来快速加速的观点,认为越来越激进的优化可能扩大系统盲点,并使反馈回路变得不稳定。在他看来,稳定性本身就是速度上限,因为能够可靠改进的系统必须受到控制、保持较慢速度,并以现实世界证据作为边界。

资讯正文
Altman、Musk 和 Hassabis 支持 Amodei 关于增加独立监督的呼吁
OpenAI 首席执行官 Sam Altman 和 Elon Musk 都支持放缓 AI 开发的呼吁。Altman、Musk 以及前 DeepMind 首席执行官 Demis Hassabis 至少部分认可 Anthropic 首席执行官 Dario Amodei 提出的方案,三人都同意有必要在 AI 实验室内部引入独立监督。Musk 多年来一直在警告 AI 的风险,因此他的支持并不完全出人意料。
Altman 还告诉《财富》杂志,OpenAI 今年不会上市,并以安全方面的担忧为由。他早在 6 月就已在公司内部公布了这一决定。另一种解读是:OpenAI 目前的财务状况根本不足以支持 IPO,尤其是与 Anthropic 相比之下。两种说法可能都成立。
并非所有人都认同这一观点。Google 研究员 Peyman Milanfar 提出反驳,认为递归式自我改进(RSI)是一种天真的假设,因为反馈回路本质上并不稳定。一个系统越努力地优化自身,就越容易陷入盲区,而可靠的证据只能来自现实世界,而不是基准测试。Milanfar 据此认为,Amodei 所说的“速度限制”并无必要:“能够可靠地自我改进的系统将受到治理、抑制,运行缓慢,并且会被限制在看似浪费的安全裕度之内。因为稳定性就是速度限制。”
来源与参考
收录于 2026-09-14