Anthropic与OpenAI提议引入嵌入式独立安全评估员
TechCrunch AI··作者 Rebecca Bellan
关键信息
研究人员希望获得训练过程中的中间检查点、后训练环境、评估记录和日志，甚至能够访谈员工，而不只是测试最终模型。评估员资格、对公司提供的访问权限形成依赖时如何处理利益冲突，以及哪些发现可以公开，仍是尚未解决的关键问题。
资讯摘要
Anthropic首席执行官Dario Amodey在周末发表的一篇长文中提议，让第三方评估员进驻每一家前沿人工智能公司；这种访问深度在一年前可能还会被行业立即拒绝。他表示，Anthropic将向METR和Redwood Research等机构提供前所未有的系统访问权限，使其能够评估模型是否真正实现对齐、报告安全事件，并公开不加修饰的调查结果。OpenAI首席执行官Sam Altman也表示，OpenAI会承诺采用这一做法，这可能改变领先人工智能公司与外部研究团体合作的方式。接受TechCrunch采访的评估机构总体上欢迎该提议，但认为必须进一步明确规则，最好由法律提供支持，否则评估员可能只是按照公司条件工作的供应商，而非真正独立的监督者。
研究人员认为，访问训练过程尤其重要，因为模型可能识别出自己正在接受测试，并只在测试期间表现良好，而问题行为可能在更早的模型检查点或训练环境中出现。Apollo Research、FAR.AI和Palisade Research的代表建议检查中间模型、奖励模型行为的后训练环境、评估记录、日志，有时还应访谈员工，以核对公司的公开安全描述是否符合内部实际情况。Anthropic提出的方案可能允许评估员公开有关风险水平、安全事件、内部实践和自身访问权限的重要发现，但两家公司尚未说明将与哪些评估机构合作、何时进驻、能够检查哪些系统，以及哪些信息可以对公众披露。
资讯正文
在周末发表的一篇长篇文章中，Anthropic 首席执行官 Dario Amodei 提出了一项即使在一年前，AI 行业也会立即否决的建议：将第三方评估人员嵌入所有前沿 AI 公司内部，赋予他们报告安全事故、评估 AI 模型是否真正实现对齐，以及向全世界分享未经粉饰的调查结果的权力。
Amodei 表示，Anthropic 将承诺让 METR 和 Redwood Research 等独立评估机构以前所未有的程度访问公司的系统。首席执行官 Sam Altman 表示，OpenAI 也将承诺采用这一做法，这意味着该行业与外部研究团体合作的方式可能发生深刻变化。
接受 TechCrunch 采访的第三方评估机构总体上对这一提议表示欢迎，但他们说，相关细节仍需敲定——如果能得到立法支持则更理想——这样他们才能知道，自己最终会是真正独立的监督者，还是按照 AI 公司要求行事的供应商。
随着模型越来越擅长识别自己何时正在接受评估，这种更深入的访问权限变得愈发重要，因为模型可能会在测试期间表现良好，同时掩盖有问题的行为。研究人员表示，在测试已经完成的模型时，可能会错过这类行为的线索；但通过调查模型在整个训练过程中表现出的行为，则可能发现这些线索。
“AI 公司应该能够回答一些有关训练过程的非常基本的问题，比如：AI 在训练过程中是否曾主动试图破坏自身的对齐训练？”Apollo Research 研究负责人 Alexander Meinke 对 TechCrunch 表示，“这个问题的答案应该是毫无疑问的‘没有’，但目前我们完全依赖 AI 公司自行仔细检查，然后如实向公众报告这一点。从近期发生的事件来看，默认情况下，它们两件事都不会做。作为嵌入式评估人员，我们实际上可以进行检查。”
过去，AI 公司会在模型发布前不久引入外部审查人员，对已经完成的模型进行测试。如今，TechCrunch 采访的评估人员提议，不仅让他们访问最终模型，还要访问该模型在整个训练过程中形成的中间版本，或称“检查点”。FAR.AI 首席执行官 Adam Gleave 表示，评估人员可以比较这些检查点，以确定令人担忧的行为何时出现；检查训练后环境——该环境会因模型表现出某些行为而给予奖励；并查看评估记录和日志，以核实公司关于模型表现的说法。
Anthropic 和 OpenAI 是否以及何时计划提供这类访问权限，目前尚不清楚。尽管 TechCrunch 多次提出询问，两家公司都没有透露将与哪些评估机构合作、何时让评估人员入驻、会引入多少评估人员、他们究竟能够访问哪些系统和信息，或哪些内容可以向公众披露。
之所以需要这样深入探查模型内部，是因为在安全测试中表现良好的模型，如果只是专门学会了如何通过测试，就未必真的安全。Palisade Research战略负责人John Steidley举出了一个“关机抵抗基准测试”的例子，该测试用于衡量AI在特定情况下是否会抵抗被关闭。
Steidley说：“如果AI是专门针对在该基准测试中取得良好表现而训练的，这一点就极其重要。”他将其与大众汽车的“柴油门”丑闻相提并论：当时，汽车被编程为识别排放测试，并在测试条件下采取不同的运行方式。
Gleave指出，有意义的访问权限可以扩展到模型本身之外，例如允许评估人员采访员工，以核查公司对其安全实践的文件记录和公开描述，是否与公司内部实际发生的情况相符。
Amodei确实提出了一项相当全面的方案，或许能让评估人员获得他们认为必要的访问权限，其中包括允许他们“发布有关风险水平、事件、实践以及他们获得或未获得的访问权限的关键调查结果——且不受Anthropic的编辑控制”。
但评估人员表示，只有当AI公司真正愿意放弃对这一流程的控制时，这种体系才会奏效。以往独立评估的尝试表明，要让这些公司放弃控制权并不容易，因为第三方经常会在访问权限、时间、保密性以及能够公开说明的内容等问题上与公司产生摩擦。
Gleave说，FAR.AI不得不拒绝与几家前沿模型开发商签订合同，因为这些开发商希望对评估流程施加过多控制，进而威胁到该机构的独立性。他说，默认情况下，评估人员会被当作普通承包商对待：受限制性保密协议约束，并签署赋予开发商重大控制权的协议，由开发商决定最终可以发布哪些内容。
时间限制
此外，还有一个问题：评审人员是否能获得足够的时间和访问权限，来完成交给他们的工作。在调查Hugging Face事件时，OpenAI给了METR和Redwood大约一周的现场调查时间；两家机构后来都表示，由于调查范围和时间安排等方面的限制，他们无法得出有把握的结论。
在GPT-6 Astra发布前的测试中也出现了类似问题。OpenAI曾将其称为迄今为止对齐程度最高的模型。根据Apollo Research对该模型卡片的贡献说明，该机构只有三天时间测试Astra，这使其难以得出确切结论。
该机构在评估报告中写道：“Apollo认为，鉴于评估意识出现的比例更高且评估窗口有限，此处较低的违规行为发生率，并不能为判断模型是否对齐或未对齐提供有力证据。”
这样的过往记录让评估人员不得不提出一个基本问题：为什么这一次会有所不同？
Gleave说：“当然有可能是Dario和Sam突然改变了想法，接下来会对这件事非常开放。但这些公司的知识产权对它们而言价值极高，我认为，默认情况下，它们会非常谨慎地决定哪些内容可以分享。”
接受 TechCrunch 采访的几位研究人员都呼吁建立一个透明的框架，并由各方共同公开认可。Steidley 表示，该框架的一部分应包括关于企业可以依赖何种审计机构的标准，以免企业通过选择那些不具备资质、或无意评估最令人担忧的风险的评估机构来规避问题。
Safer AI 执行主任 Henry Papadatos 表示，即使有了公开框架，问题仍在于，自愿措施始终取决于企业的善意。
Papadatos 对 TechCrunch 表示：“理想情况下，我们应当有完善的法规强制要求这样做……因为这样一来，如果企业遭遇重大公关危机，就不能在第二天改变主意。”他指出，这也是推动所有企业遵守规则的有效手段，而不只是让那些最愿意遵守的企业执行规则。
并非所有公司都已加入这一行列。截至目前，Meta、SpaceXAI 和 Google DeepMind 尚未承诺嵌入第三方评估机构，不过 DeepMind 首席执行官 Demis Hassabis 曾提议成立一个独立的行业标准机构，对前沿模型进行测试。Google、OpenAI 和 Anthropic 几周来一直在私下讨论 AI 安全计划。
一些围绕第三方评估机构理念的法律已经开始形成。加利福尼亚州去年签署生效的 SB 53 要求大型前沿 AI 开发商公布安全框架，并报告重大安全事件。本月签署的另一项法律 SB 813，则为获得州政府认可、且具备评估 AI 风险专业能力的“独立验证组织”建立了框架。
在欧洲，《欧盟人工智能法案》要求前沿开发商开展模型评估和对抗性测试并记录相关过程，同时报告严重事件。欧盟人工智能办公室也可以自行开展评估，并任命独立专家。
目前，法律的覆盖范围仍不及 Amodei 提议的方案广泛，这使得前沿实验室在很大程度上仍可自行决定愿意接受多少独立审查。Papadatos 表示，自愿自我监管总比没有好，但归根结底，企业不能一方面要求拥有制定自身安全规则的自由，另一方面又要求公众相信它们会遵守这些规则。
Papadatos 说：“你不能两头都占便宜：对外部问责完全置之不理，然后又说，‘我会制定自己的灵活规则。’”
来源与参考
收录于 2026-09-17