人工智能战争已经到来

The Verge AI··作者 Hayden Field

关键信息

文章回顾了 2017 年联合国关于致命自主武器的会议,当时《Slaughterbots》影片让风险变得格外迫近,因为 Project Maven 已经启动,而且 Google 也已参与其中。文章还指出,尽管完全自主的致命武器尚未真正部署,但现有系统已经具备足够的自主性,能够基于传感器数据选择或打击目标。

资讯摘要

文章首先提到,联合国《特定常规武器公约》每年两次在日内瓦召开会议,讨论致命自主系统。Project Ploughshares 的研究员 Branka Marijan 在 2017 年 11 月参加会议时,以为大家仍会像往常一样围绕“杀手机器人”的假设世界进行推演,但在与会者观看了短片《Slaughterbots》后,气氛迅速变得紧张。影片描绘了一个可独立执行杀戮任务的 AI 无人机系统,而真正让人不安的并不是虚构设定本身,而是美军实际上已经在推进类似技术。那次会议还是美国国防部 Project Maven 启动后的第一次会议,而到 2017 年末,Google 也已参与其中。Marijan 表示,当时讨论的系统并不是科幻式的未来机器,而是已经存在的平台,只是它们具备不同程度的自主性,并能根据传感器数据选择和打击目标。

文章认为,无人机战争已经从“人类操控杀人”迈向“人类可能被彻底移出决策链”的阶段。近十年过去,军方仍未真正研发出完全自主的致命武器,但这个问题如今已成为美国政府与 Anthropic 之间围绕军事 AI 合同冲突的核心。Anthropic 希望保住两条红线:禁止国内大规模监控,以及禁止能够在完全无人参与下识别、追踪并杀死目标的武器。文章把这场争议放进更长的历史脉络中,强调 AI 早已深度嵌入军队体系,并通过监控和机器视觉系统让杀伤变得更快、更多。

人工智能战争已经到来

资讯正文

《某些常规武器公约》是一个聚焦于致命自主系统的国际论坛,每年两次在日内瓦的联合国举行。布兰卡·马里扬在2017年11月参加会议时,以为为期五天的会议——主要讨论各种假设情景,设想一个由杀手机器人发动战争的世界——会一如往常。毕竟,当时人们认为,这项技术也许永远不会被研发出来,而且很可能永远不会被部署。她很快意识到,那一年不同了。那个遥远、只存在于想象中的未来,突然间比以往任何时候都更近,也更真实了。

第一天,一些与会者观看了一部名为《Slaughterbots》的短片,该片由未来生命研究所制作。视频中,一家虚构的国防承包商在推销一款由AI驱动的无人机,称它能够无需人工协助就以精确打击方式杀人。它的首席执行官对观众说:“以前人们总说,枪不会杀人,是人杀人。但人也不会。他们会情绪化,会违抗命令,会瞄得太高。让武器来做决定吧。”马里扬回忆说,房间里的气氛突然变得警觉起来。最可怕的不是这个设定本身,而是五角大楼已经在开发这一技术的一个版本。

那次会议是“马文计划”启动后召开的第一次会议。“马文计划”是美国国防部的一项倡议,利用AI分析无人机监视画面。到2017年底,马文计划已经拉来了一家大型科技公司:Google。Project Ploughshares是一家关注和平的独立研究机构,马里扬在该机构担任高级研究员。她说:“我们讨论的系统并不是未来主义的东西。它们是已经存在的平台,只是在其中加入了不同程度的自主性,或者具备根据传感器数据和传感器输入选择并攻击目标的能力。”

世界已经见识过无人机战争——由人类操控的致命机器。如今,人们看到的则是一个未来:人类可能被完全移出决策链。马里扬说:“我们担心的并不是那种《终结者》式的形象,而是真正发生的,是自主性被赋予和强化的过程。”

将近十年后,各国军方仍然没有研发出完全自主的致命武器。但这些系统正处于美国政府与AI初创公司Anthropic最近一场高风险较量的中心。Anthropic正寻求保住两条“红线”:禁止国内大规模监控,以及禁止能够在零人类参与的情况下识别、追踪并杀死目标的武器。自今年年初以来,它已成为唯一一家对军事AI承包工作施加实质性限制的公司,而专家认为,这一领域是AI战争的最后前沿之一。

但在不断变化的联盟、诉讼和戏剧化冲突之中,人们很容易忽视更大的背景——AI早已深度嵌入军事领域,而且这种情况由来已久。70年前,新罕布什尔州一场夏季科学家会议就让美国国防部开始关注AI在战争中的潜力。从那以后,AI的影响每十年都呈指数级增长。尤其在近几年,AI使得杀戮变得比以往任何时候都更多、更快。

就连 Anthropic 似乎也认为,它的红线不会维持太久。毕竟,历史已经证明并非如此。

美国军方几十年来一直支持人工智能发展,而人工智能也反过来改变了战争。在 2000 年代,这项技术已经能够解析全球收集到的前所未有的大量数据,催生了一场监控革命。而到了 2010 年代末,先进的人脸识别以及其他复杂的机器视觉系统也得以 विकसित。

Anthropic 与五角大楼之间的争执,让这些系统日益增长的力量受到了关注。这场争端始于 2026 年 1 月,当时国防部长 Pete Hegseth 要求重新谈判国防部现有的 AI 合同。新条款取消了任何灰色地带或先前商定的条件,允许五角大楼在含糊而宽泛的“任何合法用途”范围内使用这些公司的技术。当时唯一获准将其技术部署在五角大楼机密网络上的 AI 公司 Anthropic 表示反对。

像 Anthropic 这样的承包商会对其技术的特定用途设限,这并不常见。加州大学伯克利分校公共政策副研究教授 Andrew Reddie 表示:“这不是像曼哈顿计划那样由政府创造出来的技术”,也不是 Northrop Grumman 那样的传统军工供应商。“当一家初创生态体系直接与五角大楼接触时,这些痛点就会变得非常明显。”他说,即便在硅谷内部,关于何时应该设限,“也有很多分歧”。

谁会赢也并不清楚。作为一种谈判策略,国防部在 3 月将 Anthropic 认定为军工供应链风险,而美国总统 Donald Trump 则宣布禁止所有政府机构使用其 Claude 系统。自那以后,双方关系似乎有所缓和,Anthropic 发布了以网络安全为重点的模型 Mythos,但一场诉讼战仍在进行中。Anthropic 拒绝就此事发表评论。

无论结果如何,这场争论都以一种新的方式将“完全自主武器”带入了公共语汇。但人工智能在军事行动中的渐进式影响,几十年来从未停下脚步。

Reddie 说:“我们其实已经越过了卢比孔河,只是还假装没有。”

争论的核心是国防部指令 3000.09,它是少数几项规范致命自主武器使用的政策之一。该指令最初写于 2012 年,将这类系统定义为“在被启动后,无需操作员进一步干预即可选择并攻击目标”的系统。它还规定,完全自主和半自主武器的设计都必须允许人类对武力使用“行使适当程度”的判断。

Future of Life Institute 负责 AI 和国家安全事务的 Hamza Chaudhry 表示,这项指令设立了“战争中使用自主技术的第一项政策”。

不过,根据你如何解读这一定义,某些导弹防御项目可能在几十年前就已经越过了那条线。比如 Phalanx CIWS。它是一种自动化武器系统,外形类似一门很大的炮,旨在保护海军舰艇免受来袭导弹攻击。如果系统中有人参与决策,这类系统就无法运作,因为它必须在毫秒内作出反应。

一些专家认为,区别在于这些系统只在纯防御、固定的环境中运行。按照这种解释,它们是在进行打击,但并不是在做决定——只是对来袭威胁作出反应。Reddie 说:“这项法规里的‘和’字承担了很多工作——我们有能够决定的系统,也有能够打击的系统,但你不能有一个既能决定又能打击的系统。”

Tech Justice Law 的法律研究员 Maddy Batt 说:“即便没有完全自治,AI 也会把杀伤链压缩到仅仅几秒钟,这样人类实际上就不会按照国际人道法要求去进行那些本应防止平民伤害的评估。当人类未能这样做而导致平民死亡时,那就是战争罪。”

进攻与防御之间的定义同样模糊。Reddie 说:“我最喜欢带学生做的一项练习,就是拿出一种军事技术,然后问:‘这是防御性的还是进攻性的?’”他举了核弹头在发射井中的例子,有些人会认为这属于防御,因为它是用来威慑的;也有人会认为这属于进攻,因为它被设计用来打击外国目标。“仅仅因为它的主要功能……在性质上是防御性的,并不意味着这项技术本身在性质上就是防御性的。”

普渡大学教授 Sorin Adam Matei 的说法更直接:“你不可能只靠防御来打仗。”

2023 年,政府的首席数字与人工智能办公室(CDAO)——这是 DOD 所有 AI 业务的中央枢纽——对 DOD 第 3000.09 号指令发布了一份更新,但并未消除该文件的核心歧义。2024 年,拜登政府发布了一份关于 AI 与国家安全的备忘录,为 AI 在某些国家安全场景中的使用设定了规则——而目前,即便在特朗普任内,这项政策仍然有效。但五角大楼经历了重大动荡。CDAO 目前正在进行一次大规模重组,这使它与 DOD 其他部门的联系更加疏远,而该办公室现在向 Emil Michael 汇报;他既是 DOD 的负责研究与工程的副部长,也是该部门的 CTO。

国际上的努力,比如《特定常规武器公约》(Convention on Certain Conventional Weapons)和“停止杀手机器人”运动(Campaign to Stop Killer Robots),也没能取得多大进展。Marijan对The Verge表示,尽管CCW在帮助较小国家了解AI战争相关格局方面发挥了很大作用,但总体进展“非常缓慢,我们还没有看到具体的一致意见,尤其是在主要国家和更先进的军队之间。”虽然一些国家已经表示对禁止致命自主武器感兴趣,但甚至连这一术语都还没有官方的国际定义。Sarah Shoker,伯克利加州大学高级研究学者、OpenAI地缘政治团队前负责人说,这种局面“往往导致很多人各说各话……而且有些国家会发现缺乏具有约束力的文件对它们有利。”

Shoker补充说:“我认为大多数人——政策制定者、民间社会成员……参加这些会议的人——可能都已经疲惫了。已经十多年了,但真的没有达成一致。”

不管2017年之前自主武器处于什么状态,Maven都大幅加速了它们的时间表——并改变了辩论的条件。该项目标志着2010年代那种理想化、强调“不要作恶”的硅谷首次明显卷入战争,这迫使Google员工和公众做出反应。Matei说:“那是我们第一次就AI技术在军事行动中所扮演的角色展开全国性讨论。”

Project Maven最初源自时任国防部副部长Robert Work的一份备忘录。他设立了一个“算法战争跨职能团队”(Algorithmic Warfare Cross-Functional Team),任务是训练可部署到战区的AI算法,甚至可能在年底前就投入使用。Google随后拿到了这份合同。

内部抵制迅速升温。2018年4月,大约4,000名员工签署请愿书,要求Google退出“战争生意”。信中称,一位Google高管曾向员工保证,他们的技术“不会‘操控或驾驶无人机’,也‘不会被用来发射武器’。”但员工表示:“虽然这排除了少数直接应用场景,但这项技术正在为军方打造,一旦交付,就很容易被用来协助完成这些任务。我们不能把我们技术的道德责任外包给第三方。”Google未回应本文的置评请求。

据报道,最近MSS在抓捕委内瑞拉总统Nicolás Maduro以及美国对伊朗的打击行动中都发挥了关键作用,而这些行动据称迄今已在该地区造成数千人死亡。

Google员工认为公司应当表明立场——它也确实这么做了,在2018年年中这场争议中选择不再续签合同。但Amazon和Microsoft很快接手,拿下了同样工作价值数千万美元的合同。Palantir随后接管,Project Maven也变成了Maven Smart System(MSS),它不仅能进行目标检测和追踪,还能大规模分析监控数据。

Claude 也与 MSS 紧密交织在一起,尽管其作用相对有限。在 Anthropic 于 2024 年开始允许其技术用于军事用途之后,其 Claude 聊天机器人被加入到用户界面中,帮助分析人员就某些地理区域以及情报或目标类型向系统提问。即便是这一相对不起眼的增补,一些专家说,也让系统更高效。结果,Claude 促成了目标锁定,可能打击到更多个人。

Shoker 说,如此庞大的目标数量会让任何有意义的人类监督都变得困难。她说:“我们对 MSS 了解的一点是,它减少了目标锁定流程中的人类参与人数——而这实际上就是按设计如此。”

虽然 Anthropic 可能还可以接受减少人为干预,但它反对将其降为零。不过,正如 Google 在 Project Maven 上发现的那样,竞争对手非常愿意填补这一空白。

其他 AI 公司也都抓住了与五角大楼合作的机会。甚至在与 Anthropic 的争执开始之前,几家大型 AI 实验室就已经放宽了运营准则或调整了使命声明,以便允许军方交易——包括 Google、OpenAI,以及可以说也包括 Anthropic 本身。OpenAI 很快签署了 Anthropic 拒绝接受的条款。而在冷落 Anthropic 之后的几个月里,美国国防部与八家公司签订了合同,在机密网络上部署它们的 AI:Google、Microsoft、Amazon Web Services、Nvidia、OpenAI、Reflection、Oracle 和 SpaceX。

Shoker 说,在 OpenAI 工作期间——这是该行业最大的参与者之一——她并没有接触到很多研究决策支持系统或自主武器系统风险的人。她说,这些领域的研究社群仍然“极度封闭”。Shoker 说:“这个领域的人已经就[这些风险]发出警告并进行研究有一段时间了”,她补充说:“问题在于……这些人并不在实验室里。”OpenAI 没有回应置评请求。

在内部,员工们以与将近十年前反对 Project Maven 的行动极为相似的方式表达异议。在外部,OpenAI 与五角大楼的交易引发了广泛争议,促使首席执行官 Sam Altman 宣布他正试图重新谈判这笔交易。但硅谷高管正在强力反击员工组织化和公开发声,包括利用 AI 来识别泄密者。而且,许多科技从业者已经在担心自己的工作,因为在一个 AI 将取代他们公司入门级岗位的时代,他们的饭碗也岌岌可危。

与此同时,通过与特朗普政府的法庭斗争,Anthropic 仍在试图重新夺回其作为军事和情报承包商的位置。自 2024 年以来,其技术已深度嵌入美国国防部的运作之中,而去年夏天它推出了 Claude Gov,这是一款专为国家安全机构设计的产品,对机密材料周围的护栏有所放宽。

据报道,Anthropic正准备在今年进行IPO,这意味着它正在冒着一次高风险的损失。据称,该公司正与投资者洽谈,计划以9000亿美元估值融资。随着外界对这家实验室实现盈利的压力前所未有地增加,Anthropic面临的压力也越来越大。

近几个月来,Anthropic首席执行官Dario Amodei在针对美国人的大规模监控问题上态度强硬,但他对其他所有人进行此类监控不仅毫无异议,事实上还表示支持。

Tech Justice Law的Batt表示,Anthropic所谓“非常狭窄”的红线“远远不足以保护人权,或遵守国际法”。她补充说:“Anthropic特别谈到,对美国人的大规模国内监控会带来严重的公民自由担忧,但同样的公民自由担忧对非美国人同样适用。事实上,考虑到残酷的移民打击行动,我们或许尤其应该担心,用于对非公民进行大规模监控的先进能力。”

这甚至还没有谈到海外大规模监控的伦理问题,而这个问题在美国国内的大多数伦理讨论中都明显缺席。

尽管Amodei认为Anthropic的系统还不适合支持完全自主武器,但他在概念上或道德上并不反对它们。在一篇博客文章中,他说:“完全自主武器(完全将人类排除在决策环之外,并自动完成目标选择和攻击的武器)可能会对我们的国防至关重要。”Amodei甚至表示,他很乐意“直接与战争部合作开展研发,以提高这些系统的可靠性”,并加快公司协助部署这些系统的时间表。

Tech Justice Law的Batt表示,这一立场与国际人道法“根本上相互冲突”,因为国际人道法要求对任何一次具体攻击都进行逐案评估。她说:“把AI引入这些目标锁定流程,本质上是基于一种‘速度取胜’的理念。无论在流程中的哪个环节让人类介入,如果实施这些系统的目标是把原本需要几周或几天完成的事情压缩到几秒钟,那么人类实际上并没有真正为自己做出有意义的判断。”

当Hegseth宣布打算重写五角大楼的AI合同条款时,他明确表示,国防部“必须接受,未能足够快推进的风险大于不完美对齐的风险”——而且必须取消大量测试和评估。

Chaudhry表示,历届政府都试图在保留安全性的同时,移除战争中“纯粹官僚主义”的层级,但Hegseth的备忘录“明确设置了一种取舍,并表示我们更偏向速度”。专家们说,这通常不是军事行动中最好的通用做法,但它往往最致命。AI已经提升了这种杀伤力——而且它还准备走得更远。

自从赫格塞斯备忘录发布以来,Marijan 说,越来越多的国家开始关注自主作战的风险。但面对美国军方及其在硅谷的合作伙伴,他们究竟能做多少还不清楚。眼下,他们只是试图理解其影响。Marijan 说,如果人类“只是在为决定盖橡皮图章”,“那么责任界线在哪里——而且责任风险会是什么样子?”

在2017年7月举行的 Defense One Tech 峰会上,当时 Maven 被定位为国防部的未来,算法战争跨职能小组负责人向与会者发表了演讲。

他说,AI“短期内”不会在战斗中选择目标。但现在,如果不加干预,这一时刻已不会太远。

来源与参考

  1. 原始链接
  2. AI warfare is already here

收录于 2026-05-27