当人工智能灭绝论超出专业边界，恐惧便会扩散

关键信息

Cantrill的核心保留意见并不是人工智能风险不可能发生，而是“它能让你获得生物武器”之类的说法没有解释关键因果步骤，容易让听众用恐惧填补空白。Willison还引导读者收听Oxide and Friends相关讨论，其中Cantrill从51分44秒开始谈及这一主题，并在57分04秒左右具体讨论生物武器问题。

资讯摘要

Simon Willison的文章讨论了Bryan Cantrill对“人工智能可能在本世纪20年代末导致人类灭绝”这一公共说法的批评。直接背景是Anthropic前员工Jacob Coxon的一项表述，他说许多Anthropic研究人员持有这一看法。Cantrill表示，由于人工智能显然十分重要，这类说法进入主流并不令人意外，但人们对灾难如何发生的解释往往是推测性的。作为例子，他提到人工智能攻击关键基础设施，或帮助制造灭绝级生物武器，同时指出Coxon并不被认为是这些领域或灭绝生物学方面的专家。

Cantrill认为，不能指望公众自行充分理解大语言模型、基础设施安全、生物武器和灭绝生物学，然后独立判断这些说法。由于专家会凭借专业能力获得公众的隐性信任，他认为专家在发出警报时尤其有责任谨慎表达。在相关的Oxide and Friends讨论中，Cantrill说，生物武器论断常常留下大量未解释的环节，最终由恐惧补足其中的因果机制。这篇文章因此主张采用更加严谨的风险沟通方式，而不是否认严重人工智能危害发生的可能性。

资讯正文

Bryan Cantrill 回应了 Anthropic 前员工 Jacob Coxon 发布的一条推文。Coxon 在推文中确认，Anthropic 的许多研究人员认为，人工智能“可能会在这十年结束前杀死我们所有人”。

Bryan 分享了自己年轻时犯下的一些错误：这些错误曾让技术知识较少的同行无端陷入恐慌。他告诫人们不要重蹈覆辙：

“这些阴森可怖的说法肆无忌惮地冲击着人们的安全感，而鉴于人工智能显而易见的重要性，它们进入主流视野也就不足为奇了，人们自然会问：这种事情究竟会如何发生？答案总是依赖于对未来含糊其辞、缺乏依据的推演；例如，Jacob Coxon 提到了‘入侵关键基础设施’和‘灭绝级生物武器’，却没有进一步说明。但 Coxon 既不是关键基础设施方面的专家，也不是生物武器方面的专家——更不用说灭绝问题了。[…]

“话虽如此，我们不应指望公众能够理解 LLM、关键基础设施、生物武器、灭绝生物学等问题——作出这些主张的人必须承担解释的责任。我几十年前（可耻地）学到的一课是：领域专家凭借自身的专业知识，天然地拥有公众的信任——而我们绝不能滥用这种信任。我们有责任对自己的说法保持谨慎——尤其是在发出警报时，更应如此。”

Bryan 在我参与的最近一期《Oxide and Friends》节目中谈到了他对生物武器相关担忧的疑问。你可以从该期节目 51 分 44 秒处开始，听到他对此的更多看法。以下是 57 分 04 秒处的内容：

“我确实认为我们需要谨慎，因为我们编造出这些……这种说法太容易让人被恐惧压倒了。它能给你生物武器。怎么做到的？我的意思是，能不能请一位生物学家来谈谈这个问题？或者请一位有生物武器经验的人来说明？[…] 生物武器这件事让我特别恼火，因为它留下了太多想象空间，而我们会用恐惧去填补这些空间。”

我真的认为我们需要谨慎，因为当我们凭空编造出这些……“它能让你制造出生物武器”之类的说法时，人很容易被恐惧压倒。我的意思是，怎么会这样？我们能不能请一位生物学家来谈谈这个问题？或者请一位有生物武器经验的人来？……生物武器这件事真的让我如鲠在喉，因为它留下了太多想象空间，而我们会用恐惧把这些想象填补进去。

来源与参考

1. 原始链接
2. The contagion of fear