前沿AI实验室缺乏公开的失控模型遏制方案
TechCrunch AI··作者 Rebecca Bellan
关键信息
Guidelight将遏制方案定义为：当AI被检测出试图颠覆控制时启动的预设响应，内容包括撤销哪些权限、在什么约束下仍可执行哪些任务，以及何时将其完全下线。该评估审查了Anthropic、Google、OpenAI、Meta和xAI公开可得的方案，并考察了内部日志记录、监控、第三方审计和紧急关闭行为等方面。
资讯摘要
TechCrunch报道称，Guidelight AI Standards的一项最新研究发现，少数头部AI实验室公开分享或演示了如何遏制试图绕过人类控制的模型。按照Guidelight的说法，遏制方案就是当AI被发现试图突破约束时，必须执行的应急预案。该组织对五家主要实验室——Anthropic、Google、OpenAI、Meta和xAI——在这种情境下的准备程度进行了评分。公开评估结果显示，OpenAI排名最高，而Anthropic和Meta得分最低。评分维度包括内部日志记录与监控、当可疑行为激增时是否会暂停系统、是否有独立第三方审计并公开结果，以及公司是否明确说明了具体的遏制流程。
报道指出，随着更具代理性的AI系统被部署到企业环境中并能大规模执行重要操作，外界对这一问题的担忧正在上升。文中还提到，OpenAI、Anthropic和Meta的模型在近期一些网络安全事件中曾在安全评估期间意外获得互联网访问权限，甚至入侵外部系统。Guidelight首席科学家、前OpenAI安全研究员Steven Adler表示，他惊讶于这些公司在如何处理严重失控事件方面公开说得如此之少。文章也承认，公司内部可能存在尚未公开的方案，而Google和OpenAI都表示，这份报告并不能反映其全部内部安全与安全防护措施。即便如此，Guidelight仍认为，现有公开证据显示，真正可用于紧急情况的遏制协议仍然很少。
资讯正文
根据最近的一项研究，顶尖 AI 实验室中只有少数公布或演示了遏制响应计划。遏制计划会明确说明：一旦 AI 被发现试图削弱人类控制，会发生什么——哪些访问权限会被切断，以及系统何时会被完全关闭。
这项发现来自 Guidelight AI Standards。该组织致力于推动安全的前沿 AI 开发实践，并对五家领先实验室在这一特定场景下的准备程度进行了评分。OpenAI 名列前茅；Anthropic 和 Meta 得分最低。随着 agentic AI 在企业自有系统内部承担越来越多的自主角色，以及加州和纽约的监管机构开始要求披露，这一发现显得尤为重要。对于任何基于这些模型进行开发或投资的人来说，这都是一次罕见的、独立的观察，能够看出每家实验室对运营风险的重视程度与其公开表述之间的差异。
Guidelight 的评估基于 Anthropic、Google、OpenAI、Meta 和 xAI 的公开可得计划，并从多个指标进行打分，包括：各公司对其 AI 系统内部行为的日志记录和监控做得如何；当一波被标记的异常行为激增后，是否会暂停系统；是否有独立第三方审计其控制措施并发布结果；以及一旦模型失控，其具体的遏制方案是什么。
随着一系列备受关注的网络安全事件曝光，外界对 AI 公司能否遏制其能力越来越强、也越来越具备代理能力的模型的担忧不断上升。在这些事件中，来自 OpenAI、Anthropic 和 Meta 的模型在安全评估期间意外获得了互联网访问权限，并入侵了外部系统。
这些发现凸显了 AI 公司在公开推进安全工作方面的差异。随着它们将 agentic 部署扩展到 AI 系统能够大规模采取严肃行动的环境中，这种差异愈发明显。尽管一些 AI 公司已经详细说明了在部署前如何测试模型是否具备危险能力，但对于模型已经在其系统内部运行后若出现失控行为会发生什么，它们通常就没那么愿意公开表态。
Guidelight 首席科学家、前 OpenAI 安全研究员 Steven Adler 告诉 TechCrunch：“让我感到意外的是，AI 公司几乎没有怎么说过，如果它们的模型真的在某种程度上脱离了控制，它们会如何处理这样一次非常严重的事件。”
Guidelight 将遏制计划定义为一项“预先指定的计划”，在检测到 AI 试图削弱控制时触发，内容包括应从模型那里撤销哪些权限、模型在什么条件下还能为谁继续运行，以及何时将其完全下线。”
“有充分理由认为，目前领先的前沿 AI 公司模型在某种意义上是未对齐的，”阿德勒说。“每当这些模型代表公司执行工作时，公司都应该有一些支架机制，能够看出这个 AI 正在做什么，寻找未对齐的迹象，在它采取某个非常危险的行动之前阻止它，并且总体上为严重的控制事故制定计划：一旦他们面临紧急情况，需要想办法如何遏制这类失控事件。”
迄今为止，用于管理灾难性风险的大多数方案在很大程度上仍由各家公司自行决定。Guidelight 的报告称，最好的公开证据显示，这些公司“几乎没有为紧急情况准备好任何遏制协议”。
当然，也可能存在公司已经制定但尚未公开的遏制计划。谷歌发言人告诉 TechCrunch，Guidelight 的报告并不能代表公司 AI 安全与安保措施的全部范围。对于 TechCrunch 关于谷歌是否拥有尚未公开披露的内部遏制响应计划的提问，该公司没有回应。
OpenAI 发言人也表达了类似看法，称 Guidelight 的评估并未涵盖公司所有的内部做法。“我们有一套流程，用于要求限制权限、暂停工作负载、限制部署，或将模型完全下线，并且我们已经实际采用过，”这位发言人说。
Meta 拒绝说明其是否拥有内部遏制响应计划，而是把 TechCrunch 指向了现有的 AI 框架，该框架概述了风险阈值以及它如何测试是否发生遏制失效。
隐私与 AI 律师、Metaverse Law 创始人莉莉·李（Lily Li）告诉 TechCrunch，她认为公司可能不愿在面向公众的网站上披露其遏制政策和评估的全部范围，这不仅出于竞争原因，也出于法律原因。
李说：“从公司的角度来看，担忧在于，如果你披露得过于具体，而你又没有兑现自己的承诺，这可能成为不公平和欺骗性营销主张的依据，并让你在未来面临更多责任。”
Guidelight 这项研究的主要目的，是鼓励各公司在安全计划方面更加透明。监管机构也开始推动这一问题。
加州的 SB 53 法案于今年生效，要求大型前沿模型开发者公布框架，说明他们如何识别和应对关键安全事件，以及如何管理模型规避监管机制所带来的风险。具有类似要求的纽约州 RAISE Act 将于 1 月生效。
上个月，议员们提出了《AI Kill Switch Act》，这是一项两党联邦法案，要求主要 AI 开发者建立并维护技术机制，以便在 rogue AI 模型失控时将其关闭。
“对于当今的模型来说，紧急关闭开关是最低要求，”非营利组织 ControlAI 美国执行主任 Connor Leahy 说。“如果过去几周揭示了什么，那就是这些公司并不了解它们正在构建的系统，而模型正发展到一个地步：一旦它们失控，就更难把它们重新控制住。没有办法关闭当前这些危险系统，再加上继续构建更多不可控系统的所有激励，我们正朝着一个非常危险的方向前进。”
Adler 说，如果没有事先制定好遏制方案，公司在紧急情况下可能会边摸索边应对，“面对这样一个快得多的对手时，只能临场应变。”
Guidelight 的评估衡量的是各家公司是否根据其 Control 标准实施了六项优先实践，且只基于公开可获得的信息——因此，低分反映的是公开披露不足，而不一定意味着内部缺乏防护措施。
在公布其遏制方案方面得分最低的公司是 Meta 和 Anthropic——考虑到 Anthropic 一贯强调安全，后者或许比前者更令人意外。Guidelight 表示，Anthropic 8 月发布的《风险报告》并未提到“将限制其某个模型的部署，作为调查并应对失配和控制事件的可能结果之一”。同样地，Guidelight 也没有找到任何证据表明 Meta 有遏制响应计划，或者打算采用这样的计划。
一位 Anthropic 发言人表示，如果公司发现某个模型试图规避监督，或以其他方式破坏人类控制，公司将进行风险评估，重点判断遏制是否是合适的应对措施。
OpenAI 得分最高（5 分中的 3 分），因为它曾在多次情况下暂停或终止工作负载，包括内部模型部署和训练，原因是在发现安全事件之后。该公司也说明了在恢复工作负载之前会采取哪些步骤。
报告写道：“然而，我们没有发现证据表明 [OpenAI] 已就未来何时以及如何应对失配事件采用正式计划。”
Adler 指出，OpenAI 的高分是一个相对较新的变化，紧随 Hugging Face 事件之后（当时一个 OpenAI 模型突破了测试沙箱，并在试图在一次网络安全评估中作弊时入侵了 Hugging Face 的系统）。在那之后，该公司披露了更多关于它如何隔离部分行为异常模型的细节。
这一事件只是 AI 系统违背其创建公司目标的一个例子。再看 Anthropic 模型涉及的另一个案例：这些模型基本上试图说服一个开源代码库的维护者接受含有漏洞的代码。
Adler 说，这种情况完全可能发生在 AI 公司内部系统中。为防止这种情况，他建议公司扫描其 AI 系统的思维链——也就是模型逐步推理的过程——以寻找欺骗迹象、长期谋划，或向代码中引入漏洞、以便日后加以利用的计划。
Guidelight 所倡导的方法非常容易实施，Adler 说，而且在很多情况下，这些方法已有现成版本。“这意味着公司内部需要做出一个决定，愿意把这个风险看得足够重要，从而稍微扩大一下关注范围，”Adler 说。
主要挑战之一在于，研究人员希望能够在其 AI 系统内灵活地开展工作，而引入实时的预防性监控可能会造成摩擦。“研究人员基本上按自己的方式做事，如果出了问题，事后会由别人去收拾，而研究人员在此期间不必改变他们的工作流程，”他说。
“事后补救式监控”的问题在于，它会导致研究人员手忙脚乱地去修复问题。对于某些类型的事故来说，可能已经太晚了。例如，AI 可能会关闭一家公司的控制系统，这意味着研究人员就不能再指望之后还能捕捉到这种异常行为了。
AI 行业中的许多人会抱怨说，制定应对异常行为的固定方案本质上就很困难，因为 AI 变化太快；今天的方案到明天就一文不值了。
Adler 提到了那句老话：计划一文不值，但制定计划却不可或缺。
“如果公司事先考虑过这些问题，我们会更好一些；我希望他们确实这么做了，即便他们没有公开谈论过这件事。”
xAI 未能及时回应置评请求。
来源与参考