Amodei 呼吁以战时速度监管 AI
The Decoder··作者 Maximilian Schreiner
关键信息
Anthropic 表示,这些规则最初只适用于训练算力超过 10^25 FLOP,且 AI 收入超过 5 亿美元或每年 AI 研发支出超过 10 亿美元的开发者。该框架还要求提交安全框架、高风险模型系统卡、每六个月一次的风险报告、15 天内上报严重安全事件,并聘请与开发者没有财务关系的独立评估者。
资讯摘要
Anthropic 首席执行官 Dario Amodei 发表了一篇题为《Policy on the AI Exponential》的文章,并同步发布了两份政策文件:一份是前沿 AI 监管框架,另一份是应对 AI 相关裁员的框架。公司表示,愿意为后者提供大规模资金支持。Amodei 认为,当前最核心的问题是速度,也就是政治和监管的推进速度远远跟不上 AI 发展的速度。为说明这一点,他借用了《指环王》中的比喻:行动缓慢的树人 Treebeard 代表政治系统,急切的哈比人代表最早发出警报的 AI 安全倡导者,而逼近的军队则象征不受监管的 AI。Amodei 认为,按照规模扩展定律,模型能力会随着算力增加而指数式增长。基于这一判断,他预计在一到两年内,AI 可能达到他所称的“Powerful AI”,也就是“数据中心里的一个天才国家”。他表示,Anthropic 过去主要推动透明度要求,但现在这已经不够,因为前沿模型已经对网络安全、关键基础设施、金融、生物安全和国家安全构成现实风险。
公司还提到名为“Claude Mythos Preview”的模型,认为它已经对全球网络安全格局造成了扰动。新的提案要求对四类风险进行强制第三方测试:网络安全、生物武器、AI 系统失控,以及可能加速这些风险的自动化研发。提案还主张由政府机构获得阻止或下架高风险模型的权力,并把 FAA 作为类比对象,认为 AI 模型也应像飞机一样在发布前接受技术检查。名为 Advanced AI Framework 的文件把这些主张细化为具体规则,主要面向美国联邦政府,并把义务集中在最强大的模型开发者身上。该框架要求开发者公开安全框架、为高风险模型提供 system cards、每六个月提交一次风险报告,并在 15 天内报告严重安全事件。它还要求企业在规则生效后六个月内聘请至少一名与公司没有财务关系的独立评估者,以减少“评估者购物”等问题。

资讯正文
Dario Amodei 的新文章读起来像是一份适用于 AI 时代的冷战行动手册
Anthropic 发布了一篇篇幅宏大的文章和两套政策框架。该公司呼吁对前沿模型进行具有约束力的审计,并描绘出 AI 作为由民族国家挥舞的战略武器的图景。
Anthropic 首席执行官 Dario Amodei 发表了一篇题为《Policy on the AI Exponential》的文章。与此同时,公司还发布了两份文件:一份是监管前沿 AI 的框架,另一份是应对失业的框架;Anthropic 表示,它准备为后者提供大规模资金支持。
Amodei 的起点诊断是一个速度问题,他用《指环王》中的一个支线情节来说明这一点。两个霍比特人试图说服树人树须伯(Treebeard)站出来,在一支正在砍伐他森林的军队面前进行防御。难题在于:树须伯虽然睿智,但动作极慢,慢到他光是向另一棵树打招呼就需要整整一天,因此几乎不可能让他及时采取行动。
在 Amodei 的解读里,这个行动迟缓的树人象征着政治体系。那两个急切的霍比特人则代表那些像 Anthropic 这样,及早敲响警钟的人。步步逼近的军队则是未经监管的 AI 所带来的威胁。而且它推进得很快。Amodei 引用规模法则称,随着算力增加,模型能力会呈指数级增长。他说,在一到两年内,我们可能会看到他所谓的“强大 AI”(Powerful AI),也就是“数据中心里的一个天才国家”。
为什么 Anthropic 认为旧方法已经不再适用
Amodei 说,到目前为止,Anthropic 大多一直在推动透明度要求,因为当时风险还不够明确,无法进行精确监管。该公司支持了加州的 SB 53、纽约的 RAISE 以及伊利诺伊州的 SB 315 等透明度法案。
Amodei 写道,这已经不够了。作为证据,他提到了“Claude Mythos Preview”的经验,该模型扰乱了全球网络安全格局,并表明前沿模型对金融行业、关键基础设施和国家安全都带来了真实风险。Amodei 预计,生物风险和严重的自主性风险可能很快就会随之而来。
他现在呼吁由合格的第三方针对四个风险领域进行强制测试:网络安全、生物武器、AI 系统失控,以及可能加速这些风险的自动化研发。政府机构应当有权阻止或下架那些构成不可接受风险的模型。Amodei 以 FAA 为例:就像飞机一样,AI 模型在发布前也应该先通过技术检查。
第三方审计、披露规则,以及阻止的权力
《Advanced AI Framework》将 Amodei 对具有约束力监管的呼吁,转化为一项详细提案。Anthropic 表示,这一提案主要面向美国联邦政府,尽管其原则应更广泛地适用。该框架分为两部分:对最强大模型开发者的义务,以及对社会抵御生物攻击和网络攻击能力的投资。
这套规则并非覆盖整个行业,而是直指头部企业。它们只适用于那些训练参数量超过 10^25 FLOP、并且要么从 AI 中获得超过 5 亿美元收入、要么每年在 AI 研究上支出超过 10 亿美元的开发者。Anthropic 认为,这些门槛将义务集中在那些模型能力已经足以带来灾难性风险的环节上。
该公司还提议至少每年审查一次这些标准,并最终从单纯的算力阈值转向基于能力的阈值,因为未来训练危险模型所需的算力很可能会下降。
对于这些开发者,这一框架列出了广泛的信息披露要求。他们需要发布一份安全框架,为高风险模型提供系统卡,每至少六个月发布一次风险报告,并在 15 天内向机构报告严重安全事件。在规则生效后的六个月内,他们还必须聘请至少一名与其不存在任何财务关联的独立评估者。为防止“挑评估者”,也就是企业挑选最宽松的审计方,Anthropic 提议建立一套对评估者进行评级和分配的机制。
这一框架还包括针对模型权重和基础设施的安全要求、虚假陈述的民事处罚、吹哨人保护,以及阻止高风险模型的权力。至于联邦层面的权限问题,Anthropic 认为,国会只有在建立起一个至少同样严格的联邦监管体系时,才应当优先排除州法律。
为社会做准备,而不只是为开发者做准备
框架的第二部分涉及社会韧性,具体而言,是如何防御先进 AI 可能加速带来的威胁。对于生物风险,Anthropic 建议采取分层方法:预防(现代化生物安全标准并对基因合成供应商进行筛查)、检测(早期预警系统和对攻击的取证归因)以及准备(防护装备、加固后的建筑系统,以及由 AI 加速的反制措施)。
在网络安全领域,Anthropic 认为 AI 已经在改变攻击的经济学逻辑,因此其提案包括保护开源和遗留软件、支持资源不足的关键基础设施运营方,以及利用 AI 以更大规模修复漏洞。至于失控和自动化研发,Anthropic 承认其韧性议程远不成熟。公司只给出了一个大致方向:具备检测并关闭已经失控的 AI 系统的能力。
大规模失业的分级方案
这套经济框架会根据劳动力市场受冲击的严重程度来调整措施,并以失业率作为触发条件。在一级情形(约 5%)下,Anthropic 提议从出生起设立全民资本账户、工资保险、职业执照改革以及培训补贴。二级情形(约 10%)则扩大失业保险和基本生活需求援助。
在第三层,失业率超过历史高点,讨论的是新的税源和再分配工具,比如全民基本收入、AI主权财富基金,或者更高的资本利得税。Anthropic表示,如果AI公司带来变革性的利润,它愿意缴纳自己“应有的份额”。
从中土世界到冷战逻辑
在这篇文章中,Amodei又提出了更多建议。他警告说,FDA和EMA等监管机构可能会被AI加速的研究压得不堪重负。在公民自由方面,他呼吁为自主武器制定问责规则,禁止其在国内使用,并堵住大规模监控中的数据经纪人漏洞。在地缘政治方面,他主张建立一个民主联盟,共享供应链,同时拒绝让对手获得相关能力,并加强芯片出口管制。
这里呈现出的世界观令人瞩目。Amodei并不把AI看作一种消费技术。他认为AI与核武器属于同一类别,是会重塑整个地缘政治博弈场的力量。他的比喻直白而尖锐:一个拥有AI的国家与一个没有AI的国家相比,就像海军陆战队面对中世纪持剑者。他还把完全自主的无人机军队纳入了考量。
国家在这里既像一个正当的保护者,也像一个可能借AI之力实施暴政的装置。Amodei将合作主要框定为志同道合的民主国家之间的联盟,通过供应链和出口管制与专制政体筑起壁垒。这是穿上了AI外衣的冷战逻辑,与树胡子(Treebeard)的隐喻严丝合缝。
他反驳了外界所谓AI行业只是存在公关问题的说法。他写道,公众的担忧是有理由的,而对真实风险的透明披露,正是民主问责机制按其应有方式在运作。
Anthropic已在6月初向SEC提交了IPO草案,并在本周发布了Claude Fable 5,这是Mythos类别中的首个公开模型。
来源与参考
收录于 2026-06-12