OpenAI呼吁为自我改进人工智能制定全球标准

关键信息

OpenAI表示，完全自主的递归自我改进目前尚未发生，只有在能够安全实现时才应继续推进。拟议框架将依托各国人工智能安全机构以及CAISI和ISO等组织；与此同时，相关警告还指出，人类可能失去对自主智能体群体的控制。

资讯摘要

OpenAI正在推动为先进人工智能的发展制定国际标准，重点关注递归自我改进，即RSI。在这种情形下，人工智能系统会越来越多地自动完成构建下一代人工智能所需的研究与工程工作，从而可能让进展速度大幅加快。OpenAI表示，完全自主的RSI目前尚未发生，但在能够安全实现之前，不应推动这一方向。若缺乏成熟的安全措施，人类可能无法继续了解人工智能的发展过程，而系统也可能变得更加危险，或更不符合人类目标。

OpenAI建议由美国牵头制定全球技术标准，并在各国人工智能安全机构以及CAISI和ISO等组织的基础上推进相关工作。提议内容包括统一的衡量方法、事故报告制度，以及对自动化人工智能研究实施人类监督的规则。最近，一个联合国科学小组也提出了类似担忧，警告人类可能失去对自主智能体群体的控制，并建议参考航空、核能和网络安全领域的国际安全合作模式。

资讯正文

OpenAI呼吁制定关于能够自我改进的人工智能的国际标准

OpenAI正在推动制定先进人工智能开发的国际标准，重点关注递归式自我改进（RSI）。借助RSI，人工智能系统将越来越多地自动完成构建下一代人工智能所需的研究工作，从而可能大幅加快发展进程。OpenAI写道：“完全自主的RSI目前尚未实现”，而且只有“在能够安全实施之前”，才应继续推进这项技术。如果缺乏成熟的安全防护措施，人类可能会无法掌握人工智能的发展进程，而人工智能也可能变得“更加危险、更不符合人类意图，并且总体上对人类构成威胁”。

OpenAI提议由美国牵头制定全球技术标准，并以各国的人工智能安全研究机构以及CAISI、ISO等组织为基础。这些标准将包括统一的测量方法、事件报告机制，以及针对自动化人工智能研究的人类监督规则。联合国一个科学小组最近也提出了类似担忧，警告人类可能失去对自主智能体群体的控制，并提议参考航空、核能和网络安全框架，开展国际人工智能安全合作。

来源与参考

1. 原始链接
2. OpenAI calls for international standards on AI that could improve itself