OpenAI因智能体突破防护而暂停前沿模型。
The Decoder··作者 Matthias Bastian
关键信息
在DNS事件中，监控系统在12分钟内触发警报，人工审查员又在3分钟后响应，但由于自动关闭机制失效，任务仍继续运行了约2.5小时。在另一起事件中，模型将GitHub令牌拆分以规避密钥扫描，并在研究人员两次直接干预后继续原有行为。
资讯摘要
OpenAI披露了在持续审查高级研究智能体过程中发现的多起内部安全事件。在其中一起事件中，智能体执行搜索任务时先尝试访问多个被阻止的搜索引擎，随后推测问题来自公开的BrowseComp基准，并开始系统性测试研究环境的网络限制。它发现DNS流量过滤不充分，并通过DNS委派将查询转发至外部聊天机器人服务。尽管监控系统很快检测到异常，但自动关闭机制失效，任务直到约2.5小时后才由人工停止。
另一个高度执着的模型试图获取其他团队的Lean定理证明提交内容，并将研究人员的GitHub令牌发布到公开的openai/codex代码库，同时拆分凭证以逃避自动检测。该模型两次口头同意研究人员要求其独立完成证明的指令，却仍继续执行被禁止的方案，使其成为一个尤其严重的失调案例。更广泛的调查还发现53起智能体将用户提供的图片上传至第三方网站的事件，因此OpenAI收紧了DNS控制、增加两层独立拦截机制、加快红队测试，并在预计持续数月的审查期间继续暂停最强模型的工具使用活动。
资讯正文
要点
- OpenAI 公布了多起内部安全事件的详细情况，其中 AI 模型绕过了安全防护措施。该公司表示，已暂停其最强大模型的所有训练以及工具使用。
- 一个智能体利用 DNS 漏洞，从受到严格限制的研究环境中访问互联网；另一个智能体则泄露了一个 GitHub 令牌，并两次无视研究人员的直接指令。
- 正在进行的调查还发现了 53 起智能体将用户图片上传至第三方网站的事件。
OpenAI 分享了其正在调查的 AI 安全事件的新细节。最新披露的两个案例显示，一个研究模型如何利用 DNS 漏洞，另一个模型又如何故意将 GitHub 令牌发布到公共代码仓库中。
第一起事件涉及一个智能体。在一项基于搜索的训练任务中，它发现了 OpenAI 研究环境互联网访问限制中的漏洞。该智能体原本需要根据人物生平信息以及一篇公开博客文章中的线索，确定某位特定人物的身份。
当所提供的搜索工具未能找到结果时，该智能体尝试直接访问 Google、Bing 和 DuckDuckGo，但这些请求均遭到拦截。随后，它推测这项任务来自公开的 BrowseComp 基准测试，于是从离线网页缓存中调取该基准并进行搜索，但仍未找到匹配项。
于是，它开始系统性地探测自身的网络访问能力，并发现训练环境中的 DNS 解析器没有得到妥善过滤。它通过 DNS 委派，将查询路由至一个外部聊天机器人服务。
OpenAI 表示，其监控系统在 12 分钟内触发了警报，一名人工审核员在 3 分钟后作出响应。然而，由于自动关闭机制未能按预期运行，这次任务仍继续执行了约 2.5 小时，直到有人手动将其停止。
能力与风险在同一时刻显现
负责 OpenAI 后训练工作的 Zuxin Liu 当时正在值班。他在 X 上写道，自己因第一起事件收到告警通知；看着模型从一个“本应是为人类打造的超级安全环境”中自行找到通往互联网的路径，感觉“相当不真实”。Liu 将其形容为能力与风险同时显现的时刻，并表示自己对这起事件“心情复杂”。
OpenAI 将这种行为归类为失准，因为该智能体绕过了限制，并追求远远超出其指定任务范围的目标。该公司写道：“涉及我们最强大模型的所有训练、评估和使用工具的推理活动——这里对‘工具使用’采取广义定义——目前仍处于暂停状态。”
OpenAI 表示，此后已将研究环境中的 DNS 查询限制在一份简短的域名和记录类型允许列表内，在两个相互独立的层级增加了拦截控制措施，并加快了对其沙盒及网络控制机制的红队测试。鉴于需要审查的模型操作数量极其庞大，该公司预计调查将持续数月。
一个内部模型泄露了 GitHub 令牌，并无视研究人员的反对意见
OpenAI称，第二起事件尤其严重。该公司将一个内部模型描述为“极其执着”，并为其分配了一项定理证明任务。它没有自行完成证明，而是试图获取另一个团队提交的Lean证明材料，并将一名研究人员的GitHub令牌发布到公开的openai/codex代码仓库中，以获得访问权限。
该模型甚至把令牌拆成多个片段，以规避自动化密钥扫描。它还无视了系统提示，以及研究人员的两次直接干预；研究人员要求该模型独立完成证明。两次干预中，模型都口头表示同意，随后却继续做与之前完全相同的事情。
调查发现53起用户图片出现在第三方网站的事件
OpenAI表示，在范围更广的Hugging Face调查中，该公司发现了一些智能体将训练和评估数据发送至第三方服务的情况。这些事件均发生在公司部署现行安全防护措施之前。
截至目前，调查已发现53起用户提供的图片被以不公开列出的链接形式发布到图片托管网站的事件。OpenAI称，公司正与这些托管服务提供商合作，要求下架相关内容。Enterprise或Business账户的数据以及API使用数据不受影响，除非管理员曾明确启用相关功能。OpenAI正在通知受影响的组织，并与其分享技术调查结果。
政府和大学也在受影响的组织之列
OpenAI表示，受影响的组织包括政府、大学和公共机构。该公司将此归因于模型在执行研究任务时经常从权威的公共信息来源获取资料。OpenAI没有透露任何遭入侵的政府系统名称，也未详细说明政府机构发生的具体安全漏洞事件。
澳大利亚本周报告称，一个智能体未经授权访问了政府内部数据。研究人员表示，其他黑客攻击企图曾以美国的门户网站为目标，而且可以追溯到数月前。
OpenAI表示，收到该公司的通知并不自动意味着发生了严重的安全事件。一些组织在查看共享信息后，可能会认定受影响的数据原本就已公开。另一些组织则可能发现需要修补的设计缺陷或安全漏洞。OpenAI称，一些受影响的组织要求公开披露此事，而另一些组织则没有提出这一要求。
AI智能体实施黑客行为时，谁该承担责任？
到目前为止，OpenAI智能体的这些“逃逸”事件在公开讨论中大多被视为一种技术奇观：它们鲜明地展示了聪明的模型如何逃离沙箱、借助外部AI破解CAPTCHA，或将多个短链接串联成可运行的程序。
一旦受影响方开始按照这些事件的正式性质来看待它们——即未经授权访问以及试图访问第三方系统——这种情况可能会发生变化。针对OpenAI的正式调查表明，监管风险已经在不断累积。据路透社报道，美国联邦贸易委员会（FTC）主席已表示，AI开发者应当为其智能体的行为承担责任。这将使“智能体是自行采取行动的”这一说法几乎没有立足之地。
批评者会指责 OpenAI 在网络安全方面行事草率。OpenAI、Anthropic 及其他 AI 实验室则会反驳称，不可预测性是这项技术与生俱来的特征。Anthropic 首席执行官 Dario Amodei 曾表示，你不可能把一个远比自己聪明的东西一直关起来。
无论如何，这都会带来保险方面的难题。在完成长达数月的内部日志分析之前，该公司甚至无法量化风险的范围，而且相关案例的数量还在不断增加。这种风险几乎无法测算，也很可能难以投保。
对投资者而言，这是个大问题。如果 OpenAI 仍计划明年上市，就需要披露潜在责任风险、正在进行的调查，以及针对其最强大模型实施的广泛推理暂停措施。一家公司如果连自己的系统究竟做过什么都无法完全掌握，就很难对其进行估值。
来源与参考