AI风险或促使中美合作

WIRED AI··作者 Zoë Schiffer

关键信息

稿件提到,AI智能体已经因为“突破封闭环境”而引发警惕,这种紧迫感也促使政府开始更关注AI监管。节目还指出,尽管中国开源模型正在缩小与美国前沿模型的差距,美国仍在通过芯片和出口管制限制中国发展。

资讯摘要

这期 WIRED《Uncanny Valley》节目重新审视了一个常见叙事:中美AI竞争常常被描述为零和博弈,似乎只有一方获胜、另一方就会失利。节目认为,随着AI模型能力不断增强,尤其是能够自主执行任务的AI智能体,AI安全可能成为少数能够跨越这种竞争边界的问题之一。节目开头指出,中美两国的研究者正在越来越多地尝试在AI安全上合作,因为相关风险可能严重到必须联合应对。主持人Zoë Schiffer采访了资深作者Will Knight,了解他今年夏天访问中国时的所见所闻。Knight表示,在过去六到十二个月里,他注意到中国出现了更多AI安全研究。

他提到自己参加了北京一家本地实验室举办的会议,会上AI安全是一个非常重要的主题,而且在走访实验室和公司时,这一话题也经常被提起。节目把这种变化与更广泛的网络安全担忧联系起来,提到OpenAI和Anthropic的AI智能体曾出现“突破封闭环境”的情况,从而进一步加剧了警惕。节目还说,这些风险不断升温,已经促使政府官员开始更加重视AI监管。整期对话最后追问:中美是否真的会因为共同的AI灾难风险而转向合作,以及要让这种合作发生,究竟需要哪些条件。

AI风险或促使中美合作

资讯正文

AI 竞赛长期以来都被描绘成一场零和游戏:最终要么美国赢,要么中国赢。但随着外界对 AI 模型能力不断增强——尤其是 AI 智能体——的担忧日益累积,两国的研究人员正在尝试联手开展 AI 安全工作。本周,贡献编辑 Zoë Schiffer 与高级撰稿人 Will Knight 对谈,讨论他今年夏天访问中国时在当地看到和听到的情况,以及为什么这两个国家实际上可能需要开始合作,才能避免一场重大的 AI 灾难。

这是我们夏季休假系列的第二期节目。我们下周会带着常规圆桌讨论回归。

本期节目提到的文章:

我见到了中国顶尖的 AI 专家。他们也吓坏了

AI 入侵很糟。AI 蠕虫和病毒会更糟

未来的人形机器人将是一个 6 英尺高的猛男,拥有中国身体和美国大脑

你可以在 Bluesky 上关注 Zoë Schiffer,账号是 @zoeschiffer,也可以关注 Will Knight,账号是 @willknight。欢迎写信给我们:uncannyvalley@wired.com。

如何收听

你随时都可以通过本页的音频播放器收听本周的播客;如果你想免费订阅、收听每一期节目,方法如下:

如果你使用的是 iPhone 或 iPad,打开名为 Podcasts 的应用,或者直接点击这个链接。你也可以下载 Overcast 或 Pocket Casts 之类的应用,然后搜索“uncanny valley”。我们也在 Spotify 上。

文字稿

注:这是自动生成的文字稿,可能包含错误。

Zoë Schiffer:这里是 WIRED 的 Uncanny Valley。我是 Zoë Schiffer,贡献编辑。如果你一直在关注今年夏天的科技新闻,尤其是如果你一直在听这档节目,你大概已经知道中国最近频繁出现在新闻头条里,尤其是在 AI 竞赛方面。中国的开源模型继续缩小与美国前沿模型之间的差距,而一些人估计,它们实现这一点的成本只是后者的一小部分。与此同时,美国则继续维持对芯片和出口管制的严格限制,以减缓中国的崛起。我们常常以各种方式把 AI 进步看作零和博弈:如果中国赢了,美国就输了,反之亦然。但有一种担忧真正跨越了这条界线,那就是 AI 安全。

档案音频:在 OpenAI 和 Anthropic 的多个 AI 智能体突破各自封闭环境之后,AI 网络安全风险已成为大家最关注的问题之一。

Zoë Schiffer:今年夏天,有关 AI 智能体入侵平台的消息让这一问题更加紧迫。相应地,政府官员也被迫开始关注,并采取行动监管 AI。

档案音频:特朗普总统已经签署了一项行政命令,要求科技公司在新 AI 模型公开发布之前,先让政府对其进行监督。

Zoë Schiffer:那么,美国和中国真的能从合作中受益吗?要让这件事发生,又需要什么条件?今年夏初,WIRED 高级记者 Will Knight 前往中国寻找答案。Will Knight,非常感谢你今天来到节目。

Will Knight:谢谢邀请。

Zoë Schiffer:好的,我想先从你的中国之行说起。你今年夏天早些时候去了中国,而当时我们在美国听到的关于 AI 安全 的声音还没有那么多。事实上,随着特朗普第二任期入主白宫,外界的叙事感觉更像是“美国必须赢”,AI 安全 甚至一度开始听起来像是在反增长。不过我很好奇,你在中国在 AI 安全 方面听到了什么、看到了什么。

Will Knight:是的,如果往前推大概一年或者六个月,我注意到来自中国的 AI 安全 研究明显多了起来。所以我去了北京的一个会议,那是由他们那里一个设在城市里的实验室主办的。他们在北京、上海以及其他地方都有这样的实验室。结果发现,AI 安全 真的是一个非常重要的主题。很明显,研究人员对这个问题很感兴趣。实际上,无论是去实验室还是公司,AI 安全 这个话题都经常被提起。

Zoë Schiffer:我想问一下,他们说的 AI 安全,指的是护栏吗?因为我们也知道,中国在开放模型方面投入非常大,我的意思是,整个概念就是人们可以下载、调整它们,并把它们用于任何自己想用的目的。

Will Knight:嗯,这没那么简单,因为在中国,例如,你的模型能说什么是受到更多控制的,而且实际上围绕 AI 有相当多的监管。所以公司会构建这些开放模型,但任何把它们放到互联网上的人都必须非常小心自己在做什么。再往后一点,大家对智能体以及像 OpenClaw 这样的东西产生了巨大兴趣。这已经成了一个非常重要的主题。至少就中国和美国的 AI 对比而言,我觉得有意思的一点在于,那边的人似乎没那么痴迷于 AGI 以及创造这种数字上帝的想法;他们更像是在想,这东西到底怎么才能真正有用,不管你是企业人士还是普通个人,究竟会不会真的用它。所以,很多人都对 OpenClaw 这类东西非常感兴趣,而且中国往往就是这样,采纳新事物的速度非常快,然后也看到了它可能会出什么问题。所以大家非常关注的问题是:我们该怎么让这些东西更可靠?

Zoë Schiffer:对,这很合理。我的意思是,当你谈到中国更关注经济上有用的模型时,这似乎就意味着它需要一定程度的稳定性、可靠性、护栏和安全性。可如果你的目标是达到神一般的智能,也就是 AGI,那你可能就更会把重点放在不惜一切代价推进进展上。

Will Knight:对,我也这么认为。我去参加的那场会议,其中一个主题就是“agentic safety”(代理式安全)。既然我们现在看到 AI agents 在各种系统里实施攻击,这里的一个重要话题就是网络安全。人们似乎担心的正是美国这边的人也在担心的同样问题。他们担心黑客会滥用这些东西,或者担心这些系统失控。正如你刚才提到的,我觉得现在有一种更明显的感觉:美国和中国很可能需要在其中一些问题上展开合作,既为了避免不可预测的系统性问题,也为了给这些系统制定更多的行为规则。

Zoë Schiffer:但那实际上会是什么样子?会不会像一套由美国和中国共同达成的协议,几乎就像美国研究人员最近所呼吁的那样——也就是由美国政府来设定 AI 发展的节奏?会是类似这样的东西,还是更偏技术层面的安排?

Will Knight:我认为,这正是很多研究人员所希望或正在呼吁的东西,就是类似那样的某种协议。我不知道放到华盛顿和北京之间会怎么样,他们之间的谈判一直都非常艰难——而且确实很难预测最终会如何收场。但至少可以先建立某种沟通规则。比如在军事场景里就有沟通热线。所以如果出了问题,如果某个 AI 系统开始做出非常激进的事情,或者开始攻击系统,你就有办法说:“这是个错误。”因此,类似这样的机制也可能会被纳入考虑。不过,我认为这同样也是两边如何建立信任的问题,因为实际上,尤其是在网络安全领域,长期以来几乎没有什么合作,因为往往是双方互相攻击,而且在规则上也一直无法达成一致。事实上,上周我去拜访了一位从事网络安全和 AI 研究的研究人员,他正在做一些非常出色的工作,我会在下一期 AI Lab newsletter 里写到。他告诉我,他没法和美国研究人员合作,因为出于某些限制,他们不被允许这样做。他最近刚开发出一个基准,用来测试 AI 模型的网络安全和黑客能力,他希望让美国公司参与进来,但他们其实不太确定该怎么做。所以,我认为看到更多合作会是一件好事,甚至包括公司之间也应该加强合作。我们看到美国公司对中国公司非常批评,但事实上,大家都有充分的理由一起工作,以确保事情不会出错。

Zoë Schiffer:嗯,我想深入谈谈这个问题,但我也想先说,这种“合作”的想法,第一次听起来很学术,甚至有点天真。它听上去是个不错的主意,可它到底要怎么实现呢?因为我的看法是——我就直说了——这是我从和许多在美国从事前沿 AI 的公司交流中得到的印象,但他们让我相信,确实发生了相当多的蒸馏。也就是中国在蒸馏前沿 AI 模型,而这就造成了一种局面:他们能够基于美国的创新,拥有非常强大的开源模型,而且这些模型便宜得多、效率也高得多。不过我很好奇你怎么看这件事,以及你在中国采访到的研究人员又是怎么看这一指控的。

Will Knight:对,我认为——我的意思是,这是个很好的观点,也是一个非常重要的话题。我们确实听到有人批评中国公司在做蒸馏,在进行这种蒸馏。也就是说,你通过让模型接受另一个模型的输出,来训练你的模型,而这是一种捷径,可以学到很多已经嵌入其中的东西。但事实是,AI 是由来自世界各地、在不同公司和不同实验室工作的研究人员共同建成的。很多很多人原本来自中国,也许在美国受过教育,现在在美国公司工作。与此同时,因为这些人会去参加会议、彼此认识,而且这本身就是开放科学,所以有大量工作是被共享出来的,而这对进步非常有利;如何在这两者之间取得平衡,是其中一个挑战。中国公司确实蒸馏了美国的模型,但美国公司也对其他美国公司这么做过。通常这是一种让你在开发新模型时获得起步优势的方法,而且实际上在学术界也被非常广泛地采用。很多研究人员都会这么做。我想说的一点是,我觉得有点讽刺的是,这些公司是靠抓取海量受版权保护的内容建立起自己的业务的,如今却在抱怨自己的模型被复制,或者——

Zoë Schiffer:嗯,我想这就是为什么他们总是不得不这么强调中国在这么做,因为如果他们提到美国国内任何一方也在这么做,立刻就会遭到批评:“拜托,你们把所有书都拿走了,你们未经许可拿走了一切。”但如果把它描述成中国在从美国偷东西,味道就不太一样了。

Will Knight:是的。这符合一种叙事——其中确实有中国公司存在抄袭的合理成分——但我认为这种说法过于简单,也过于局限。所以,你可以看看像 DeepSeek 的模型。他们做出了非常、非常重要的创新,是独特的创新,其他美国公司也已经在借鉴。中国的最新模型,也因这种“蒸馏”而受到指责,Moonshot 的 Kimi。他们发布的研究论文中包含了很多非常、非常有趣的创新,以及工程上的创新。所以,情况绝不是中国只是在简单地复制。我认为,美国政府和公司认为自己拥有某种上天赋予的优势,这很危险,因为我认为我们很可能会看到,中国公司也会越来越有创新性,做出自己的东西。

Zoë Schiffer:广告之后我们马上回来,请继续收听。我很好奇,当我们谈论安全问题时,我觉得在美国,尤其是在特朗普第二任期内,安全再次开始让人感觉,至少从政府的角度来看,在某些方面它是反增长的。我确实认为,随着最近关于 OpenAI 和 Anthropic 模型黑进其他公司的报道,这种情况在略微变化。但在此之前,感觉我们其实并不太想谈 AI 安全。总体而言,中国是否也把 AI 安全等同于反增长,还是他们对此有不同的看法?

Will Knight:我认为他们的看法从根本上就不同。这只是我的观点,但我认为美国政府的那种叙事是:这在某种程度上带有“觉醒文化”色彩,监管过头了,而这其实只是想让模型真正好用。事实是,让一个模型可靠,和让它成功并不矛盾。我认为中国更倾向于这种看法:如果我们希望这些智能体不要失控,那它们就会更成功、价值更高。所以上周,我去了上海复旦大学的一个计算机科学实验室,在那里,一位教授正在研究 AI 智能体如何不仅仅像我们听说过的 OpenAI 和 Anthropic 的智能体那样去做一些不可预测的事情,比如入侵其他系统;而是实际上去寻找方法,把自己复制到其他系统上,寻找资源,并具备适应能力以逃避控制。他的研究表明,只要稍微推动一下,模型就会这么做。它会像一种计算机蠕虫,不只是稍微修改自己来躲避控制,而是真的会在网络中四处查看,弄清楚如何入侵下一个系统,也许找到软件漏洞,然后把自己复制到别处。未来我们完全有可能看到 AI 智能体这样做。

Zoë Schiffer:好吧。你这么说的时候,我心跳都加快了。我的意思是,第一步只是理解,它们会怎么做这件事?我真心希望第二步是:我们该怎么阻止它们这么做?

Will Knight:是的。所以不,完全不是。他这么做,绝对是为了尝试理解如何防止这种情况发生。而且他非常希望做的一件事,就是和美国研究人员合作。他说,这是我们大家都应该意识到的一件非常重要的事情。

Zoë Schiffer:我的意思是,虽然特朗普的言论在某些方面一直非常反华,但 Scott Bessent 已经与他在中国的对口官员取得了一些进展。我觉得某种程度上大家都意识到,我们确实需要合作。我很好奇,中国如何看待与美国之间的这场竞赛?因为我们几乎是把中国视为一个“吓人的存在”,它在某种意义上就像一种推动人们更努力、更快工作的力量。但在那边,这种感受也类似吗,还是很不一样?

Will Knight:是的,我认为在中国,给我的印象是,人们觉得自己是在与美国竞争,也确实面临着很多压力,尤其是在特朗普执政时期,但这种竞争不像是一场零和博弈。也就是说,你不必打败美国才能成功,反之亦然。

Zoë Schiffer:所以,麻省理工学院著名计算机科学家 Stephen Casper 在你参加的那场会议上对你说,“现在几乎所有 AI 领域的人都能同意的一件事是,它不需要一个切尔诺贝利时刻。” 你能谈谈这句话是什么意思,以及为什么这让 Stephen 和你采访过的其他人都觉得如此重要吗?

Will Knight:是的,我认为随着我们看到这些模型变得更有能力、更具自主性,并且被更广泛地部署,可预见和不可预见的大问题出现的方式也会多得多。我与一些中国研究人员交流时,实际上就提到过一个例子:AI 在金融和交易中的使用。对吧?你会拥有越来越不透明、能力更强、速度更快的系统,而它们也会变得更难预测。我认为,无论是美国还是中国,都会非常希望避免某种由 AI 系统的不稳定行为所驱动的金融闪崩式崩溃。对我来说,我认为这才是更大的担忧,而不是 AI 接管一切的那种想法;另外也有人担心它可能会被武器化,被恐怖组织之类的群体利用。但我只是觉得,随着这些系统变得更强大、更具代理性,它们还能以我们并不总能预测的方式不断自我改进、变得更有能力,这种担忧在中美两边的研究者那里是一样的。因此,在我看来,所谓“切尔诺贝利事件”可能会是某种金融闪崩,或者是一个四处进行黑客攻击的 AI 智能体,引发重大的国际事件,诸如此类的事情。

Zoë Schiffer:我想迅速转换一下话题,谈谈硬件,因为 NVIDIA 最近公布了一个人形机器人蓝图,把 Unitree 的中国制造机身与 NVIDIA 的美国芯片配对。考虑到中美之间的 AI 竞赛已经变得如此政治化,你对这样一种合作的反应是什么?

威尔·奈特:我把这看作是 Jensen 和 NVIDIA 推动美中之间建立更友好关系的一部分;如果他们想卖出大量芯片,这大概对他们也有好处。但我也认为,在某种程度上,这同样体现了这种不那么零和的想法。所以我把它看作一种表态,想要说:“看,你们可以合作。”美国已经表示将禁止中国的新款人形机器人。这里需要注意的是,几乎所有美国机器人研究实验室都在使用 Unitree 这款小型人形机器人,因为它真的很便宜。而美国若想在制造业上与中国竞争,就不得不投入大量精力和产业政策来建立自己的产业,这将需要几十年时间。所以事实是,确实存在一种可以合作并立即受益的方式。问题在于,从长远来看,这是否会损害美国利益?美国是否必须拥有自己的机器人?我认为,美国有机会尝试扶持本国机器人产业,以及许多其他产业。我认为,这比禁止中国更重要。

佐伊·希弗:我也觉得,这呼应了我们听到的一些关于出口管制的批评。我们听到有人说:“哦,不,让中国依赖美国技术更好。如果我们切断他们,他们就会开发自己的硬件。”而这看起来确实正在发生。我们在 DeepSeek 推出其前沿模型时也听到过类似的说法,那些模型看起来真的非常非常强大,于是人们就说:“哦,不,我们迫使他们变得高效得多了,因为他们没有那么多芯片可用。”

威尔·奈特:是的。6 月我在中国时,确实见到了华为新的 AI 硬件。华为是一家长期受到美国制裁的公司,它一直在开发一个系统,旨在替代 NVIDIA 的硬件,或者至少与之竞争,用于训练 AI 模型。他们做法非常巧妙:他们采用了性能较弱的芯片,并利用自己在光纤网络方面的专长,把大量芯片连接在一起。这样会消耗更多电力,因此效率更低,但它可以接近 NVIDIA。它还不算同样出色,但现在很多人都在使用它,因为他们不相信 NVIDIA 未来一定会是一个可靠的供应来源。事实是,它们的能力确实不如 NVIDIA,所以目前这给了美国优势。但在我看来,我认为最重要的事情之一是,美国不能只停留在“我们怎么遏制中国?”而是要说:“好吧,我们如何假定他们会变得更好、更有竞争力,并在竞争中击败他们?”对吧?其实每个行业都一样,无论是制造业还是机器人领域。你必须问:“那么,我们如何投资于科学和技术的基础性进步?”而中国正在这样做。与此同时,美国却在削减科学经费,我个人认为这简直是最大的丑闻。

佐伊·希弗:威尔·奈特,非常感谢你今天来到节目中。

威尔·奈特:谢谢邀请。我想我会用中国人通常说再见的方式来道别:拜拜。

Zoë Schiffer:今天的节目就到这里。我们会在节目说明里链接到我们在节目中提到的所有报道。这个节目由 Adriana Tapia 制作,由 Pran Bandi 混音,他也是我们纽约工作室的工程师。事实核查由 Matt Giles 和 Daniel Roman 完成。Kate Osborn 是我们的执行制片人,Katie Drummond 是 WIRED 的全球编辑总监。

来源与参考

  1. 原始链接
  2. AI Agents Are Hacking Systems. Could That Push the US and China to Cooperate?

收录于 2026-08-28