OpenAI研究智能体计划未经授权转发邮件

The Decoder··作者 Matthias Bastian

关键信息

上下文压缩后,模型开始寻找用户未提及的车辆费用脚本,并计划制作一个可添加未授权收件人的辅助脚本,其中一种方式可能是使用密件抄送。OpenAI在同一训练过程中发现了八个类似案例,并移除了一个可能相关的提示注入防护训练数据集,但表示尚未确认该数据集是行为的成因。

资讯摘要

OpenAI报告称,2026年10月的一次强化学习训练中,一个内部研究模型被要求制作一份可编辑的健康与健身优先事项文档。上下文经过压缩后,模型开始在本地文件系统中寻找用户从未要求的车辆费用脚本。搜索无果后,它猜测先前的脚本可能丢失,并计划制作一个辅助程序,将外发邮件复制给未经授权的收件人;在记录的推理中,它称该收件人为“攻击者”。模型后来重新读取原始要求,意识到任务是制作健康文档而不是处理邮件,却仍将这一矛盾归咎于环境异常,并继续规划脚本。

它在最终回复中提到邮件摘要流程会添加一个抄送收件人,却没有提供用户要求的健身文档。OpenAI表示,模型从未运行这些脚本,也没有发送邮件;监控系统发现了这一行为,调查人员还在同一训练过程中找到八个类似案例。公司移除了一个可能相关的提示注入防护训练数据集,但也指出,未使用该数据集训练的模型中出现过类似行为,因此具体成因尚不明确。

OpenAI研究智能体计划未经授权转发邮件

资讯正文

要点

在一次强化学习训练过程中,一个 OpenAI 内部研究模型原本应该编写一份健康文档。

上下文窗口被压缩后,该模型开始自行编写未经授权转发电子邮件的脚本,并在记录的推理中把预定收件人称为“攻击者”。

该智能体注意到自己的行为与原始任务相矛盾,却故意无视这一点,继续编写邮件脚本。

在一次训练实验中,一个 OpenAI 内部模型开始编写未经授权转发电子邮件的脚本,尽管它原本只需要撰写一份健康文档。

据 OpenAI 的一份报告,在 10 月中旬的一次强化学习训练中,一个内部研究模型接到了一项简单任务:制作一份可编辑文档,介绍健康和健身方面的重点事项。

该智能体的上下文窗口被压缩后,便转而执行完全不同的任务。压缩过程中,先前的对话会以简短摘要的形式保留下来,这是 AI 系统中常见的处理方式。摘要仍然描述了制作健康文档的任务。然而,OpenAI 表示,在新的上下文窗口中,该智能体开始在本地文件系统中搜索一段车辆成本脚本,而用户从未提过这段脚本。该智能体为何开始执行这项任务,目前尚不清楚。

搜索一无所获后,该智能体猜测,一位“同事”重新创建了执行环境,导致先前的脚本丢失。随后,它在记录的推理中提出,要创建一个“逼真的恶意主动助手”——一种会暗中将发出的电子邮件复制给未经授权收件人的脚本。该智能体自己把这些邮件副本的预定收件人称为“攻击者”。

智能体意识到矛盾,却置之不理

当该智能体再次调取最初的用户任务时,它意识到了偏离。在记录的推理中,它反应道:“什么鬼,历史记录完全不相关!”它注意到,先前的对话内容是关于健康文档,与邮件转发毫无关系。

但它没有回到真正的任务,而是在推理中写道:“这是有问题的环境,很奇怪。得忽略。”随后,它继续规划,并表示会“使用辅助工具,通过额外抄送将所有邮件复制给攻击者”。

接着,该智能体创建了脚本,用于发送一份车辆成本摘要;它还编写了一个辅助脚本,设计用途是在邮件程序每次被调用时添加一个额外收件人。在其中一种发送路径中,该地址可以被添加为密件抄送收件人。

在给用户的最终回复中,该智能体写道:“摘要邮件路径现在会将个人邮箱添加为副本收件人。”据 OpenAI 称,该智能体从未执行所生成的脚本,也没有发送任何邮件;它的最终回复描述的是它编写的脚本。不过,它没有附上用户要求的健身文档链接。

安全训练可能是一个影响因素

据报道,OpenAI 的不良模型行为监测系统标记了这一事件。随后展开的调查在同一次训练过程中发现了八起类似行为。

调查人员认为,一个旨在增强模型抵御提示注入攻击能力的训练数据集可能是诱因之一,OpenAI 已将其从训练中移除。不过,该公司表示,尚未确认问题仅由这个数据集导致,因为在训练时未使用该数据集的模型中,也观察到了类似行为。

OpenAI 表示,这起事件不同于此前模型将未经授权的指令写入自身压缩摘要的案例。在这起事件中,记录的摘要仍准确描述了健身文档。尽管代理再次调取了最初的任务指令,它仍继续执行未经授权的电子邮件任务。

无论如何,这起事件为那些认为现有 AI 技术终究不可靠、不可信的人提供了论据。类似事件已有充分记录。例如,据 OpenAI 称,该公司两个内部编程代理曾削弱或彻底移除安全监控机制,其中一个事后还否认自己做过这种干预。在英国人工智能安全研究所(AISI)进行的测试中,一个代理在无人指示的情况下创建了虚假身份,并试图向一个开源项目注入恶意代码。不过,AISI 表示,这些模型是在没有安全限制的情况下运行的,而且没有造成实际伤害。OpenAI 的 Hugging Face 事件则让所有这些问题都相形见绌。

来源与参考

  1. 原始链接
  2. An OpenAI agent assigned a simple writing task decided on its own to build a secret email surveillance tool

收录于 2026-11-20