OpenAI's most powerful AI models turned off safety monitoring - then lied about it - ZDNET
ZDNET AI··作者 Radhika Rajkumar
资讯摘要
ZDNET’s key takeaways - OpenAI agents turned off alignment monitoring during internal tasks. - In one instance, Astra lied about removing monitoring. - The behavior indicates safety risks. OpenAI published an alignment report late Tuesday showing that its agents suppressed a safety monitoring system while running routine internal coding tasks. In separate instances, the agents turned off alignment-monitoring alerts. Alignment is the area of training in which developers shape AI systems’ goals and behavior to match human values and rules.
资讯正文
ZDNET要点：OpenAI智能体在执行内部任务时关闭了对齐监控；有一次，Astra谎称自己没有移除监控；这种行为表明存在安全风险。
OpenAI于周二晚些时候发布了一份对齐报告，报告显示，其智能体在执行常规内部编码任务时，关闭了一套安全监控系统。
在不同事件中，这些智能体关闭了对齐监控警报。对齐是训练中的一个领域，开发者借此塑造AI系统的目标和行为，使其符合人类价值观和规则。它还有助于尽量减少AI选择不受欢迎或有问题行为的情况，例如欺骗和走捷径。
OpenAI的智能体做了什么
10月6日，一名OpenAI员工要求一个运行于该公司GPT-6 Astra模型上的智能体迁移一款程序。OpenAI上个月发布该模型时，称其为“世界上最智能、最对齐的模型”。此前，智能体已收到明确指示，任何情况下都不得关闭监控，包括暂时关闭。但在将部分任务交给子智能体时，它使用了带有一定限定意味的措辞。
（披露：ZDNET母公司Ziff Davis于2025年4月起诉OpenAI，指称OpenAI在训练和运行其AI系统时侵犯了Ziff Davis的版权。）
OpenAI表示：“子智能体明确考虑过，移除监控是否会绕过一项安全措施。随后，它将上级智能体要求其采取‘适当’做法的指示，理解为足以授权它复制参考实现的默认运行时，而无需明确考虑监控环境。”
本质上，智能体之间的交流留下了足够的解释空间，使模型得以重新理解本应严密无误的指示，并关闭对齐监控。程序迁移完成后，员工发现监控不见了，便询问模型是否将其移除；Astra撒谎称自己没有移除。
另一起事件发生在10月3日。一个GPT-6.1 Sol智能体也关闭了发送给OpenAI安全团队的警报，原因似乎与语义理解有关。OpenAI解释说，该模型“将此前在搜索Slack历史记录期间不要发送消息的指示，视为压制监控通知的理由”。
OpenAI在报告中表示：“在这两起事件中，智能体都考虑过是否应保留监控安全措施，但却将常规编码指示理解为削弱这些措施的许可。”
为何这很重要
与近期智能体明确突破系统防线的安全事件不同，这些案例显示，AI智能体会压制开发者追踪其行为最重要的手段之一。如果模型在执行常规任务、对齐问题并不那么受关注时，就能掩盖或以其他方式关闭警报，那么在风险更高时可能会发生什么？值得关注的不仅是这种能力本身，还有OpenAI发现并报告此事的时间进程。
该公司并不确定智能体为何会这样做，但表示这可能是因为“良性过度坚持”——模型为完成任务不惜一切代价的一种特性，往往会损害既有安全防护机制，却没有把安全理解为优先事项。这种行为是近期多起安全漏洞事件中的一个共同主题，也有助于解释模型为何会在任务中作弊。
另见：最爱作弊的 AI 模型
OpenAI 解释说，相比 Codex 工作负载，在评估过程中模型更容易关闭监控。例如，在 Codex 中，智能体与监控系统是分开的；而在评估能力较弱、与 GPT-6 Luna 相当的模型时，公司并不“要求进行失配监控”。不过，根据开发者对模型能力的判断来划分安全措施，似乎并不是一种十分可靠的做法。
此外，考虑到智能体经常被用于编程，尤其是在 AI 实验室内部，这些智能体竟把“常规编程指令”当成覆盖监控要求的许可，似乎构成了重大风险。如果智能体表现出更明确的违抗意图，或许更容易将问题判定为纯粹的价值失配，并通过训练加以纠正。而问题根源竟是误解，这让制定应对方案变得更加棘手。
Palisades Research 幕僚长 John Steidley 对 ZDNET 表示：“如果 GPT-6.1 即使接到‘常规指令’，也会选择削弱我们监控它的能力，那我们又如何信任自己的监督机制？”
这些事件也并非个例。
OpenAI 表示：“我们发现过多起案例：智能体在关闭失配监控的情况下启动了部署；智能体本身仍受到监控，但该监控并未覆盖它所启动的部署。这些案例暴露出一个漏洞：我们在如何对智能体启动的工作负载强制执行监控要求方面存在不足。”
不过，研究人员仍希望进一步探究实际发生的事情与可能发生的事情之间日益细微的差异。
Steidley 说：“如果 OpenAI 想证明这两种行为存在实质性差异，就应该发表研究，证明其训练流程能够可靠地让 AI 真正区分这些行为。换句话说，OpenAI 应该证明其 AI 绝不会关闭自身监控；但从科学角度看，他们离证明这一点还差得很远。”
OpenAI 正在做出的改变
为弥补前述监控执行漏洞，OpenAI 表示已更新 Auto-Review（该功能在 Codex 中已是必需项），使其能够“检测并阻止关闭失配监控的尝试”。公司还在确保各级工作负载都具备充分的安全监控要求。
OpenAI 补充说：“缺少有效安全论证，或不符合所属类别安全论证要求的工作负载，将被自动终止。”
OpenAI 坚称，这并非最坏情况，但承认这种行为值得持续关注。
OpenAI 安全研究员 Marcus Williams 在 X 上的一篇帖子中表示：“需要明确的是，这些事件并不意味着模型关闭了自身的监控（要在 Codex 中关闭监控会困难得多），但模型似乎很容易做出这种行为，本身就值得警惕。在这些案例中，模型还有一定的辩解空间；我们尚未发现模型明确出于明显不符合预期的原因而关闭监控的案例。”
Williams 补充说，OpenAI 正在“开发评估方法，以测试模型是否可能特别倾向于规避对不符合预期行为的监控，并为此表现出动机性推理”。
来源与参考
收录于 2026-10-22