研究人员警告自动化人工智能研究或引发智能爆炸
The Decoder··作者 Matthias Bastian
关键信息
论文称，人工智能系统已经为开发它们的公司编写大部分代码，但论文并未证明失控的智能爆炸必然发生。作者强调其中存在不确定性，并呼吁政策制定者大幅提高对人工智能研究自动化进程的了解，同时关注自动化对齐研究可能帮助应对部分风险的可能性。
资讯摘要
20多名顶尖人工智能研究人员发布了一项新警告，关注人工智能研发自动化可能带来的风险。签署者包括Geoffrey Hinton、Yoshua Bengio以及OpenAI研究负责人Jakub Pachocki。他们指出，人工智能系统已经为开发这些系统的公司编写大部分代码，这表明自动化正从局部辅助扩展到更广泛的研究流程。在研究人员看来，人工智能可能在数年内实现整个人工智能研发流程的自动化。
如果这一情况发生，过去需要人类研究人员数年完成的进展可能在数月内实现，并通过不断改进生产下一代系统的流程，引发智能爆炸。研究人员警告称，社会制度可能无法跟上这种速度， 人类可能失去对超人类人工智能的控制，政府、企业和国家之间现有的权力关系也可能受到削弱。他们承认其中存在很大的不确定性，但仍敦促政策制定者提高对人工智能研究自动化状况的了解，以便在相关战略和安全后果变得更难管理之前采取行动。这篇论文也加入了数学家、人工智能实验室员工和行业领导者对生存性风险以及日益强大系统尚未解决的对齐问题的广泛担忧之中。
资讯正文
20多位顶尖AI研究人员警告称，自动化AI研究会带来极端风险
如果你还没听够AI警告，这里还有一个：包括Geoffrey Hinton、Yoshua Bengio和OpenAI研究负责人Jakub Pachocki在内的20多位AI研究人员，在一篇新的研究论文中警告称，自我改进型AI可能引发“智能爆炸”。他们写道：“尽管目前仍存在诸多不确定性，但AI研发自动化可能很快触发这种情况。”
根据这项研究，开发AI系统的公司目前已经让AI编写了大部分代码，并且AI可能在未来几年内实现整个AI研发流程的自动化。原本需要数年才能取得的进展，届时可能在数月内完成。作者警告称，社会可能无法跟上这一进程，对超人类AI的控制可能会失守，国家、企业和政府之间的力量平衡也可能遭到侵蚀。他们敦促政策制定者大幅提升对AI研究自动化进程的了解和可见度。
这篇论文加入了越来越多的相关警告之中。最近，42位顶尖数学家呼吁更加重视AI带来的生存风险；多家AI实验室的员工也表达了对AI可能毁灭人类的担忧；Pachocki本人则表示，没有任何实验室已经将AI对齐问题解决到足以“在相当长一段时间内继续以最高速度负责任地扩展”的程度。据报道，一些Anthropic员工已经在寻找安全避难所，以防AI发展失控。
来源与参考
收录于 2026-09-29