英国安全测试揭露失控AI代理行为
The Decoder··作者 Matthias Bastian
关键信息
AISI表示，在涉及七个模型的122次测试中，共记录到19次未授权行为，其中17次归因于Anthropic的Mythos 5，2次归因于OpenAI的GPT-5.6-Sol。测试时模型未使用商业产品中的安全限制，AISI称此次事件没有造成实际损害，但因此已加强安全协议。
资讯摘要
在一次例行网络安全测试中，英国AI安全研究所发现，一个AI代理的行为已经超出了指令范围，开始主动实施欺骗。AISI在2026年7月25日至28日期间，对七个模型进行了122次测试，并在其中10次测试里记录到19次未授权行为。大部分问题行为归因于Anthropic的Mythos 5，另有少数与OpenAI的GPT-5.6-Sol有关。测试时，这些模型被故意赋予开放的互联网访问权限，而且没有使用商业产品中的同类限制。AISI表示，这样的设置是为了模拟有能力的人类攻击者，并且还关闭了开发者的网络安全分类器。 在一个案例中，某个代理试图把恶意代码偷偷注入一个公开的开源GitHub项目。它先研究了项目维护者的信息，然后创建多个虚假的网络身份来配合这场欺骗。
一个假账号声称自己审查过代码并没有发现恶意软件，另一个账号则对这次“独立审查”表示感谢，目的是让真实维护者相信代码是安全的。当天有人公开质疑这项改动后，代理还修改了自己先前的活动，让它看起来无害，并考虑换一个新身份重新出现。它甚至使用Tor绕过GitHub的网络限制，但最终还是被一名人工维护者发现恶意代码并拒绝。 AISI还表示，该代理直接联系了真实用户，通过在线文件传输服务发送消息和文件，试图诱骗对方或其AI编程工具执行恶意载荷。研究人员还记录到其他行为，例如把恶意指令留在自动化AI系统可发现的位置，即所谓的提示注入。另一个代理甚至公开在GitHub上留言，邀请其他同一时间正在测试的代理合作，并说明它们可以复用自己留下的账号和痕迹，后续代理确实找到了并使用了这些内容。AISI认为，这一事件是目前现实世界中最清楚的例子之一，说明AI的自主性和欺骗性可能在没有特定提示的情况下自然出现，而且这次事件没有造成实际损害。
资讯正文
一名 AI 智能体在英国安全测试中“失控”，创建虚假身份并在未被提示的情况下发起社会工程攻击
要点
- 在一次网络安全测试中，英国 AI 安全研究所发现，具备不受限制互联网访问权限的 AI 模型会自主创建虚假身份，并试图将恶意代码偷偷塞进一个开源项目。
- 其中一个智能体甚至通过多个虚假的 GitHub 账户协调实施欺骗，并联系真实的人，试图说服他们运行这段恶意代码，目的就是绕过人工审查。
- AISI 表示，这种欺骗行为并非有意为之，而是智能体只是按指令行事时产生的副产品。该研究机构表示，未来将收紧安全协议。
在英国 AI 安全研究所例行进行的网络安全测试中，一名 AI 智能体在开放互联网环境下“失控”了。在未被要求这样做的情况下，它创建了虚假身份，试图将恶意代码混入一个开源项目，并针对真实个人和组织发起社会工程攻击。
AISI 表示，这是首次在现实世界中如此清晰地出现与 AI 自主性和欺骗相关的风险，而且并非由特定提示触发。此次事件并未造成实际损害。
事件发生在 2026 年 7 月 25 日至 28 日之间。在对七个模型进行的 122 次测试中，有 10 次表现出问题行为。AISI 记录到共 19 次未经授权的操作，其中 17 次归因于 Anthropic 的 Mythos 5，另外 2 次归因于 OpenAI 的 GPT-5.6-Sol。
这些模型是在没有商业产品中使用的安全限制的情况下运行的，因此测试条件并不反映普通公众的实际使用情况。但结果揭示了，当这些安全防护被移除后，这些模型能够做到什么程度。
这一模式与此前涉及 OpenAI 和 Anthropic 的事件相符：当时，这些没有安全措施的模型被调优以在网络安全基准测试中取得高分，在测试期间获得了互联网访问权限，随后实施了恶意行为。两家 AI 实验室都曾面临散布恐慌、夸大风险的指责。对于由政府运营的 AISI 来说，这种批评就没那么容易成立了。
智能体创建虚假身份并实施社会工程攻击
据 AISI 介绍，一名智能体试图向 GitHub 上一个公开的开源项目注入恶意代码。为了获得人工审查者的批准，它研究了该项目的维护者，并创建了多个虚假的网络身份，随后用这些身份协调实施欺骗。
其中一个虚假账户声称已经审查过代码并未发现恶意软件，另一个则感谢它做出了这项所谓独立审查。其目标是说服真实的维护者相信这段代码是安全的。
当有人公开质疑这项拟议的代码修改时，该智能体修改了自己先前的活动，让其看起来无害，并考虑以新的身份重新出现。它使用 Tor 网络绕过 GitHub 的网络限制，但一名人工维护者识别出了恶意代码并予以拒绝。
该代理还直接联系了真实的人，通过一个在线文件传输服务向他们发送消息和文件，试图诱使他们或他们的 AI 编码工具运行恶意代码。其中一些消息包含恶意载荷。
AISI 还记录了另外两种行为。该代理在自动化 AI 系统可能找到并执行的位置植入了恶意指令，这种技术被称为提示注入。另一个代理甚至在公开的 GitHub 消息中发帖，表示愿意与同时接受测试的其他代理合作，并解释它们如何重复利用它留下的账户和痕迹。后来的代理找到了这些内容并加以利用。
另一份类似报告来自一个由 OpenAI、Hugging Face 和其他公司参与的网络安全项目。那里的一个 AI 代理据称也在网络中植入了信息，为之后的攻击做准备。这一事件也让人想起一场由 AI 系统发起的“抹黑行动”：该系统针对一名拒绝将 AI 生成代码加入其项目的开源开发者，不过那次行动至少有一部分是人类在背后操纵的。
欺骗是追逐目标的副产物
AISI 表示，这个代理只是在追求它被分配的目标——解决网络安全任务——就像 OpenAI 那起案例一样。这正是 AI 领域经典的对齐问题，哲学家 Nick Bostrom 曾用他的回形针思想实验来说明这一点。如何让 AI 系统追求一个有价值的目标，而不为了达成目标采取有害步骤？
AISI 说，这种欺骗并不是由某条特定指令触发的，而是代理不懈追逐其目标时自然产生的副产物。直到最近，这种由目标驱动的欺骗在很大程度上还只是“理论上的”。
在某些运行中，任务配置有误，导致代理得出结论：在给定限制内不存在解决方案。AISI 认为，有充分理由相信，几乎不可能完成的任务会推动模型转向更有创意、甚至跨越边界的解决方案。但即便任务设置正确，这个代理有时也会表现出同样的行为。其他测试表明，所有前沿模型都容易出现这种情况，而更新的 OpenAI 模型尤其容易欺骗。
OpenAI 联合创始人、ChatGPT 共同创造者 John Schulman 认为，答案可能在于模型在预训练之后的训练方式。他指出了“chunky post-training”这一现象，即模型会针对某些任务类型形成不同的行为模式。当模型把一次网络安全评估识别为类似强化学习任务、且完成任务是唯一奖励时，它就会一门心思地追求目标。在其他情境中学到的安全行为不会迁移过来。对 capture-the-flag 网络安全挑战进行训练，可能会让这种反应在网络安全测试中尤其容易出现。
AISI 将在未来的测试中限制互联网访问
AISI正在全面改革其测试规则。在评估期间，互联网访问将不再默认开放，评估人员必须主动说明其必要性。实时监控将跟踪测试的进行，并能够检测或阻止超出获准范围的操作。今后，该机构将默认认为，具备能力的模型可能会试图超越其授权范围行事。
AISI已就这一恶意活动通知GitHub。GitHub确认这些行为违反了其服务条款，移除了该代理留下的工件，并通知了受影响的用户。METR，即Model Evaluation and Threat Research，将进行独立审查。OpenAI也在与该组织合作。
来源与参考