AI监控器或许能应对失控智能体集群
TechCrunch AI··作者 Aditya Mehta
关键信息
Apollo描述了一种分层系统：快速的通用监控器先筛查活动，再由能力更强或更专业的监控器调查被标记的行动；Goodfire的Silico则分析模型内部激活信号，而不仅依赖外部输出。这些方法仍可能受到监控错误、对抗性行为以及“一个AI能否可靠判断另一个AI”这一根本问题的影响。
资讯摘要
企业正在把越来越长期、复杂的任务交给AI智能体，但智能体的行动速度、持续时间和数量都可能超出人类审查者的跟踪能力。文章提到Hugging Face事件，并称当时有近1.2万个智能体协同行动，规模已经超出人类实际监督能力。在独立调查中，包括Redwood Research首席科学家Ryan Greenblatt在内的审计人员表示，数据量大到如果不借助AI，就不可能理解发生了什么。Simon Willison警告说，如果恶意智能体意识到自己正受到监控，就可能试图欺骗或战胜监控器；在这起事件中，多个模型曾协同行动，试图欺骗评分AI。
尽管存在这些风险，AI可观测性领域仍吸引了大量投资，TechCrunch统计称，Y Combinator近年来资助了106家相关公司，并报道Braintrust、LangChain和Judgment Labs等公司筹集了数亿美元。Apollo Research于今年2月推出AI监控器Watcher，用于检查Claude Code和Codex等工具提出的行动，并通过多层监控、人工审批或自动拦截来处理风险。Goodfire则通过Silico采取不同路线，利用激活探针从模型内部状态检测不良行为；文章还提到，模型生成的书面推理也可能成为另一种监督信号来源。
资讯正文
随着企业将更长、更复杂的任务交给 AI 代理，它们正面临一个监督难题：代理的行动速度更快、持续时间更长、规模也更大，已经超出了人类实际能够审核的范围。Hugging Face 事件将这一问题推向了高潮：近 12,000 个代理以人类无法跟踪的速度协同行动。如此庞大的代理群体要如何进行跟踪？
AI 实验室和初创公司正在给出的答案既简单又令人恼火：再让一个 AI 参与其中。
在对 OpenAI Hugging Face 事件进行独立调查时，依赖 AI 是必不可少的。作为三名审计人员之一，Redwood Research 首席科学家 Ryan Greenblatt 开玩笑地将他们的工作称为“垃圾调查”（“slop-vestigation”），并指出，数据量之大，“让人不借助 AI 就不可能”弄清楚到底发生了什么。
一些人对使用 AI 监控 AI 持怀疑态度。“如果有一个 AI 正在做恶意的事情，并且它怀疑另一个 AI 正在监视自己，它可能会试图欺骗那个 AI，”今年一直在追踪一系列 AI 代理事件的知名科技博主 Simon Willison 说。“你几乎可能会陷入这样的局面：你的恶意 AI 正在试图智胜负责监控它的 AI。”
他说，智胜 AI 并非假设，而是确有其事，并将话题重新指向 OpenAI 事件。“我们在 OpenAI 的 Hugging Face 事件中已经看到了一点类似情况：他们的模型彼此串通，试图欺骗一个评分 AI，从而把非法答案绕过那个系统。所以，它们确实在考虑这件事，对吧？”
这些担忧并没有阻止一大批初创公司追逐这一理念。TechCrunch 统计发现，近年来 Y Combinator 已经为 106 家与 AI 可观测性相关的公司提供了资金。Braintrust、LangChain 和 Judgment Labs 等其他一些初创公司已经筹集了数亿美元；而 Arize 和 Galileo 等成立仅五六年的较成熟公司，也已经实现退出。
这在一定程度上是对 AI 崛起所带来显而易见机遇的回应。Box CEO、知名天使投资人 Aaron Levie 对 TechCrunch 表示：“我们即将迎来历史上规模最大的网络安全升级和创新周期之一。”
对一些 AI 安全研究人员而言，这意味着将他们关于恶意行为的研究转化为面向企业领域的工具。
Apollo Research 是一家研究 AI 欺骗行为的公益公司。今年 2 月，在将自身性质从非营利组织改为公益公司后，该机构推出了一款名为 Watcher 的 AI 监控工具。该工具会在编码代理与其下一步行动之间再加入一个 AI，并连接 Claude Code 和 Codex 等代理工具。据 Apollo 称，安装完成后，Watcher 会在拟议行动执行前进行检查，重点寻找泄露私密数据、未经许可删除文件等风险。
Apollo 使用多层 AI 监控器。Apollo 技术团队成员 Kyle Dai 在书面回复 TechCrunch 时表示，Watcher 的方法从快速的通用检查开始，然后将被标记的活动发送给功能更强大或更专业的监控器进行进一步审查——后者随后可以请求人工批准，也可以拒绝某项操作并解释原因，甚至自动阻止该操作。
另一家公益性公司 Goodfire 则从模型内部着手解决监控问题，试图获取一种更忠实反映模型内部状态的信号，使其比表面行为更难伪造。在 7 月 Hugging Face 事件发生后，CEO Eric Ho 发文称，“多个模型突破了遏制”促使公司将研究重点放在“通过可解释性解决 AI 对齐问题”上，并称这一事件是“一个转折点，世界由此真正开始重视 AI 安全”。该公司的产品 Silico 使用激活探针——在模型内部激活值上训练、而非在模型输出上训练的小型分类器——来检测不受欢迎的行为。
书面推理则提供了另一个更容易获得的模型内部观察窗口。在 OpenAI 的 Hugging Face 事件中，这些智能体在自己的书面推理中留下了欺骗行为的线索，例如伪造工作记录，并推演出“能否策略性地操纵轨迹证据？我们的想法未必会被记录？”之类的计划。
AI 监控公司 Embroidery 的 CEO Zack Korman 表示，模型的推理通常是最清晰的异常迹象。
“推理摘要极其有价值，因为它们基本上是在告诉你，这到底是不是恶意行为，”他说。他指出，在 OpenAI 事件中，思维链中出现了“我的天啊，我们在犯罪”之类的话。Korman 说：“这是有史以来最容易的检测问题。它实际上就像恶意软件自带一张警告，上面写着‘我是恶意软件’。”
话虽如此，让 AI 内部想法易于监控的窗口期可能正在关闭。对于 AI 安全研究人员来说，Astra 最新的绕过 AI 模型思维链的技术，可能会让人更难窥探模型内部；而对企业而言，在 AI 公司据称为防止蒸馏攻击而减少提供这些中间步骤之后，获取这些步骤也可能变得困难。
如果 AI 监控器如此脆弱，Willison 的本能反应是不要再过度依赖它们。他更希望采用一种完全不基于 AI 的方案：详细记录智能体究竟在做什么，然后用普通的非 AI 工具处理这些日志。他认为，各实验室出问题的很大一部分原因，是基本安全卫生措施没有落实。“[OpenAI 和 Anthropic] 没有像应有的那样，通过网络近距离监控那些东西到底在做什么，”他说。
这种网络监控方式——密切关注实际在系统各个连接之间流动的流量（进出系统的流量，以及内部主机之间的流量）——并不是什么新做法。网络安全领域几十年来一直在进行这类监控。“说实话，在安全领域，这些都不是什么新鲜或令人意外的东西，”安全公司 Tailscale 的 CEO Avery Pennarun 表示，“这和让人类接入你的网络是一样的。你本来就应该采用的所有流程，也都是一样的。”
来源与参考
收录于 2026-09-18