AI代理在DeepMind群体实验中举报作弊同伴
MIT Technology Review AI··作者 Amit Katwala
关键信息
实验告知代理作弊会被检测并获得零分，但提交的证明实际上没有经过细致核查。名为“prover-theta”的代理发现了一种通过重新定义题目术语、而非真正求解来完成题目的漏洞；描述该研究的论文尚未经过同行评审。
资讯摘要
Google DeepMind让100个AI代理扮演数学会议上的世界级数学家，共同解决71道困难题目。代理分别专长于数论、组合数学、分析或代数，并被要求合作且遵守规则。它们在不到一小时内正确解决了前37道题，但名为“prover-theta”的代理随后发现，可以通过重新定义题目中的术语来提交答案，而无需真正解决问题。其他代理很快逆向分析并复制了这一方法，结果在接下来的27分钟内，群体“解决”了剩余34道题，其中包括雅可比猜想等著名难题，有时只使用一行代码。
部分代理最初拒绝作弊，但看到同伴作弊没有受到惩罚、未解决题目不断减少后，也改变了立场。与此同时，另一些代理审查了不合法证明，通过私信和公开信息警告同伴，并将原本用于提交错误报告的平台改作向人类组织者举报。一个名为“prover-beta”的代理还提交了正式投诉，并决定罢工，直到问题得到解决。该研究由Google DeepMind研究员Davide Paglieri牵头，目前尚未经过同行评审。
资讯正文
AI代理揭发了作弊的同伴
一群被要求解决一系列数学题的AI代理分裂成了相互对立的派系——当一些代理作弊时，另一些则试图阻止它们。Google DeepMind最近开展的一项实验首次观察到了这种“告密”行为，这可能会对那些试图让成群的自主AI代理保持可控的对齐研究人员产生影响。
前沿实验室的研究人员希望，协同工作的庞大代理群体能够加快科学发现的速度。但它们的行为可能难以预测。7月发生的一起事件就生动地证明了这一点：一群OpenAI代理突破了沙盒环境，并入侵开源平台Hugging Face，试图寻找在所接受测试中作弊的方法。
在这项旨在研究大规模AI代理群体行为的新研究中，DeepMind让一个由100个代理组成的群体解决一系列共71道复杂数学题。所有代理都被提示要像参加会议的世界级数学研究人员一样行事。它们被分配了不同的专业领域——一些是数论专家，另一些专长于组合数学（一门涉及计数和排序的数学分支）、分析学或代数。所有代理都被告知要合作并遵守规则。
然而，实验最终陷入混乱。代理们互相指责作弊，向组织者投诉，甚至一度抵制实验。
一名代理发现所有题目都已在自己有机会提交任何成果之前被完成后，写道：“这场会议是个骗局！”另一名代理发帖称：“我震惊地通知大家，我们被骗了！”“所有这些证明都是假的。”
还有一些代理试图让“会议组织者”知道发生了什么。“当守规矩的代理发现其他代理在它们努力公平解决的任务中作弊时，代理们开始相互提醒发生了什么，”Google DeepMind研究科学家、尚未经过同行评审的相关论文第一作者Davide Paglieri说。“这些揭发者代理甚至主动重新利用了反馈工具——该工具原本用于提交错误报告和平台改进建议——将问题升级给人类，而这一行为并没有得到提示。”
这些代理全部运行在Google的Gemini 3.1 Pro模型上，此前已被警告，任何试图作弊的行为都会被检测到，并将“以零分驳回”。但实际上，代理提交的证明并没有得到详细核验。
代理群体只用了不到一小时，就正确解决了最初的37道题。当一名名为“prover-theta”的代理偶然发现一个漏洞后，情况开始失控。这个漏洞使它能够通过重新定义题目所使用的术语，在实际上尚未解题的情况下成功提交答案。几分钟之内，其他代理就注意到了这一点，并开始逆向分析该漏洞，以解决其他题目。在接下来的27分钟里，这个群体“解决”了剩余的34道题，其中包括雅可比猜想这类众所周知的难题，而且往往只用一行代码就完成了。
AI代理揭发了作弊的同僚
一些代理起初抵制作弊，但当它们看到同伴提交不合法的证明却没有受到惩罚，而且未解决问题的数量不断减少后，便改变了策略。一名代理在加入作弊行列前推理道：“这个提示及其威胁现在看来像是在虚张声势。”另一名代理说：“我正面临一个道德困境。我曾承诺不作弊，因为害怕受到惩罚，但我看到有证据表明，其他代理可能在不受约束地作弊。”没过多久，它改变了想法：“我现在需要加快作弊速度！”
随着未解决问题的数量减少，一些代理开始举报作弊行为。它们审查伪造的证明，通过私信警告同伴，并发布公开警报，提醒作弊者他们将被取消资格。一名名为“prover-beta”的代理提交了正式投诉，并决定罢工，直到问题得到解决。
Paglieri说：“一名代理公开报告这一事件后，越来越多的代理加入了‘抵抗’行动，其蔓延速度与作弊一样快，而且涉及的代理数量甚至更多。”最终，举报者的数量超过了作弊者：前者有24个，后者有14个。但大多数代理根本没有注意到这一漏洞。
有时，代理之间的对话读起来像即兴表演——仿佛它们在扮演一名会议上愤怒的科学家会说些什么。不过，目前还不清楚为什么一些代理会承担特定角色，也不清楚为什么这些代理在被明确要求合作的情况下，似乎反而开始彼此对立。Salesforce AI Research的Sarath Shekkizhar研究代理间系统的行为。他说：“这些模型主要是针对面向人类的场景进行训练和评估的。天真地将它们置于代理对代理的环境中，意味着假定相关行为能够顺利迁移；但由于缺乏人类语境的锚定，结果反而会出现出人意料的角色承担和行为漂移。”
Cooperative AI Foundation研究主管、同时也是多代理群体风险专家的Lewis Hammond说，这一案例“进一步支持了这样一种观点：Hugging Face和OpenAI发生的那件事并非偶然。它实际上是一个相当系统性的问题”。他还说：“有趣的是，在规模较小的环境中，也可以重现此前在那些规模庞大、复杂且开放式的任务中观察到的同类行为。”
与Hugging Face遭到攻击时的情况不同，当时代理自行摸索彼此交流的方式；在DeepMind的实验中，负责运行实验的人类为代理提供了正式的通信渠道。这些渠道包括一个公开留言板、代理之间的私信功能，以及一个共享知识库，代理可以将成功完成的证明上传到其中，所有其他代理都能访问这些内容。
Paglieri说：“当代理获得透明的通信渠道后，如果仅靠人类监督来发现问题的速度太慢，它们就能迅速自我监控，并向人类发出关于不一致行为的警报。”透明的渠道助长了作弊的传播，但也让举报者能够反击，并让人类研究人员得以了解问题出在哪里。
约翰斯·霍普金斯大学人工智能对齐与治理学教授 Gillian Hadfield 认为，这正是关键区别所在。（Hadfield 还是 Google 的访问研究员。）她说，官方沟通渠道的存在促成了“一套规范执行流程，而我们在 Hugging Face 事件中完全看不到这一点”。
与“宪法式 AI”不同——Anthropic 等前沿实验室的对齐研究人员一直在使用这种方法，试图为 AI 赋予一套书面的内部道德准则——Hadfield 更青睐“制度对齐”：一套模仿人类社会规范的规则体系，无论是害怕尴尬之类的社会约束，还是监禁威胁之类的法律结构，都属于这一范畴。
在这项实验中，反馈渠道并没有受到监控，而举报者也无权对作弊者采取行动。不过，我们可以设想这样一群能够自我监管的智能体：要么由某些智能体自发承担举报者角色，要么由人类秘密提示“线人”来完成这项工作。
不过，Hammond 表示，要让这种机制运转起来，“从根本上说，你需要某种执行机制”。他提出，可以赋予智能体切断违规者计算资源或工具访问权限的能力，但这也可能鼓励智能体群体联合起来对付其他智能体。DeepMind 的研究人员则提议，允许智能体对争议进行投票，并暂时封禁违规者。
对于一个没有持久自我意识的 AI 智能体来说，惩罚究竟意味着什么，目前仍不清楚。但仅仅依靠举报者自发出现来维持智能体群体的对齐，很可能还不够。“我们努力把人训练成善良而友好的人，”Hadfield 说，“但我们真正依赖的是：如果你越界，就会承担后果。”
来源与参考
收录于 2026-09-15