AI末日警告引发质疑与IPO披露担忧
TechCrunch AI··作者 Anthony Ha
关键信息
播客参与者质疑“超过10%”这一估计是否具有有意义的证据基础，并指出这类数字可能只是引用了非正式的“P(doom)”概念，却没有明确的计算依据。节目录制时间早于Anthropic首席执行官Dario Amodei公布更谨慎的AI开发计划，而且文章主要提供评论和推测，并未提出新的技术证据。
资讯摘要
AI行业正在围绕先进AI是否可能对人类构成生存威胁，展开一场异常激烈的公开争论。争论的直接起点是AI研究员Jacob Coxon宣布离开Anthropic，因为他认为领先的AI公司正在拿人类生命下注。随后，Anthropic的对齐负责人转发了Coxon的帖子，并表示公司确实认真相信AI可能杀死人类；他还称自己认为未来十年内发生这种情况的概率超过10%。在TechCrunch的Equity播客中，Sean O’Kane认为，这一连串言论之所以迅速升级，是因为它发生在有关OpenAI内部模型遭遇黑客攻击，以及Anthropic和OpenAI发布能力更强的新模型之际，其中包括Astra。
Anthony Ha表示，他真正质疑的不是警告本身，而是发言中“我们”的指代范围，因为AI研究社区并不一定是一个意见统一的整体。他还认为“超过10%”这一数字缺乏明确依据，可能只是随意使用了概率表达。Ha同时肯定了Coxon的行动一致性：Coxon不仅表达担忧，还因此离开了相关工作，这不同于一些一边警告AI可能造成灾难、一边继续开发AI的公司高管。Kirsten Korosec则推测，企业公开发表末日式警告，也可能是在向市场展示其模型有多先进，尤其是在准备上市之际；主持人还讨论了这些说法可能如何出现在Anthropic潜在的S-1文件中。
资讯正文
人工智能行业似乎正围绕一个问题展开迄今最激烈的争论：这项技术是否对人类构成生存威胁。
这场讨论始于人工智能研究员 Jacob Coxon 表示，他已从 Anthropic 辞职，因为担心这些领先的人工智能公司正在“拿我们的生命下注”。随后，Anthropic 的对齐负责人也发帖称：“我们确实真诚地相信，人工智能可能杀死所有人类！”他还补充说，个人认为这种情况“在未来十年内发生的概率超过 10%”。
在 TechCrunch 最新一期 Equity 播客中，Kirsten Korosec、Sean O’Kane 和我讨论了这些最新的末日警告。我试图说明自己为何对许多人工智能末日论叙事持怀疑态度，而 Kirsten 则提出，这是否“只是一种奇怪的炫耀方式，用来展示他们公司的人工智能模型已经先进到什么程度”，尤其是在这些公司准备上市之际。
Sean 则想知道，这些担忧会如何出现在 Anthropic 的 IPO S-1 文件中：“现在是不是有一些初级律师，正在逐字重写 S-1 文件的整段内容，好让它写成：‘Anthropic 的官方立场是，我们有超过 10% 的概率开发出某种能够消灭全人类的东西，而这将对我们的业务造成重大不利影响’？”
以下是我们对话的预览版本，经过了篇幅和清晰度方面的编辑。（注：我们录制这一期节目时，Anthropic 首席执行官 Dario Amodei 还没有公布他关于采取更谨慎方式开发人工智能的计划。）
Sean O’Kane：我很难想出有什么事情能以如此快的速度引发轰动。不仅是因为这位曾在 OpenAI 工作过的年轻研究员发出了警告，而且 Anthropic 的对齐负责人还立即在 X 上分享了这番言论——他或许会因为使用了史上最不合时宜的感叹号之一而被人记住：他分享了 Coxon 的帖子和帖子串，并说：“我们确实真诚地相信，人工智能可能杀死所有人类！”感叹号！
这真是一种奇怪的氛围。原本就已经充满争议的一篇帖子或一系列帖子，又被大量添加了助燃剂。在 OpenAI 内部模型遭到 Hugging Face 黑客攻击之后，再加上我们在 Anthropic 最新发布的模型，以及几周前 OpenAI 通过 Astra 展示的新能力，我认为这件事发生的时机恰到好处，简直成了让这位年轻研究员点燃一桶火药的导火索。
Anthony Ha：我只想反驳你一点：如果你相信人工智能可能摧毁全人类，那确实值得加一个感叹号。我认为那完全是一个用得恰到好处的感叹号！
我对那条推文真正有意见的地方，更多在于其中的“我们”。这里的“我们”是谁？我们究竟能在多大程度上把人工智能行业或人工智能研究群体视为一个铁板一块的整体？至于“超过 10% 的概率”——那只是凭空捏造的数字，毫无意义。有时，无论是在科技行业还是其他领域，人们都有一种习惯，随口抛出一些百分比；这些数字既没有依据，也不是经过任何计算得出的。[事后我意识到，那条推文可能是在引用 P(doom) 这一概念，但我仍然觉得这很荒谬。]
关于 Coxon 的声明和决定，我想说的一点是——在《Equity》节目中一直反复出现这样一个主题：当 Sam Altman 或 Dario Amodei 这样的人讲述末日论时，总会带有这样的意味：好吧，那你为什么还要做你正在做的事？如果你真的相信［AI 可能毁灭人类］，你就不会继续做下去。
［但］这实际上是一个让自己的职业轨迹与言论保持一致的人。他确实是在说：“我相信这真的、真的、真的非常糟糕，而我不想继续参与其中。”所以，不管别的方面如何，他至少有勇气这么做，值得肯定。
Kirsten Korosec：是的，我认为他和其他那些发表类似言论、谈论相关危险的人属于不同阵营。
我想戴上我的推测帽，因为我想问你们两位一个问题：有没有可能，我们每次看到越来越多的博客文章，讲述又一起某家公司的 AI 智能体意外突破限制的事件，或者它们谈论人类正面临风险时，这其实是一种奇怪的炫耀方式，用来展示其公司 AI 模型已经先进到什么程度？
我的意思是，这听起来非常愤世嫉俗，但它确实达到了这样的目的：如果这些 AI 模型不够先进、不具备相应能力，也没有突破限制，我们就不必担心这些事情，对吧？这就像是一种非常奇怪的方式，用来炫耀你们公司内部打造的模型具备何种能力。
Anthony：我确实想过这一点。我不认为这完全是愤世嫉俗，意思是，我不认为这一切从头到尾都只是一个经过精心策划的营销手段。我认为，这些人——无论是研究人员还是 CEO——在谈论这些问题时，确实感到担忧。
但当然，从很多方面来说，这也符合他们的商业利益，因为他们可以说：“哇，我们打造出了有史以来最致命的软件。”我不想在这里进行过度的心理分析，但其他人也指出，个人层面上确实存在这样的诱惑：你当然希望相信，自己正在研发的东西是世界上最重要、也最危险的东西。
Sean：当我思考这个问题时，最先想到的是，这里面确实有一个因素，会让人觉得：“好吧，我们正在做的这件事能力如此强大，这在某种程度上对我们有利，即使从很多不同的角度看，它都显得很糟糕。”
我认为，最近几个例子中有些不同之处在于，它们确实让人感觉，这些公司在某些方面并没有掌控好这些东西，尤其是 OpenAI 的那些情况。
我们不断看到越来越多的报道，提到其他内部智能体访问了网络上的不同 wiki，并相互留言；而 OpenAI 似乎并没有以一种称职的方式处理这些事情。如果这些故事完全是为了让人相信“天哪，他们竟然打造出了如此不可思议、能力如此强大的东西”，那我想，相关叙事应该会打磨得更加完善。
我认为，这件事尤其令人着迷的另一个方面是：距离我们看到 Anthropic 为其 IPO 提交 S-1 文件，最多也就还有几周；而距离潜在的 IPO，可能也只剩几周到一两个月。
你即将上市，却在 IPO 之前用如此明确的语言公开谈论这些事情——这对整个上市进程意味着什么，我非常感兴趣。他们已经在 S-1 以及该文件中的风险因素部分写入了多少类似内容？现在是否有初级律师正在逐段重写 S-1 文件中的整个相关章节，以表述：“Anthropic 的官方立场是，我们开发出某种会消灭全人类的东西的概率超过 10%，而这将对我们的业务造成重大不利影响”？
Kirsten：你这是在假设里面还没有这些内容。
Sean：但我想说的正是这个：里面已经有这些内容，现在只是在重新措辞吗？还是说他们真的在仓促应对？里面肯定已经有相关表述。这也是我如此急切地想读到这份文件的原因之一，而且在某些方面，它甚至可能比 SpaceX 的 S-1 更进一步；我敢肯定，其中很可能会有一些针对这些观点的具体内容，看看它们会很有意思。
Kirsten：问题在于，在传统的投资环境中，人们可能会认为，这样的措辞会损害一家公司的估值，因为这家公司突然变得很危险。但我们现在并不生活在正常时代。
所以，还是回到我刚才的观点：从估值角度看，这最终可能反而会成为公司一种奇怪的、有利的炫技。这和我们去年看到的那种完全靠激怒受众来博眼球的趋势并不一样，但可以说，它们属于同一个范畴：某种东西的力量、能力，甚至危险性，都等同于高估值。所以，我想几周后我们就会知道结果了。
暂且把这个问题放到一边，现在对此正在采取什么措施？我们能控制局面吗？非营利组织 ControlAI 的美国执行董事 Connor Leahy 本周做客节目，谈到了这个问题。那么，就控制 AI 的危险方面而言，你在关注哪些事情？还是说，我们只能举起双手，眼看着这一切展开？
Anthony：我自己不一定能给出一个很好的答案，但我一直在思考这场争论中的一些方面，也在想我为什么会以这样的方式作出回应。
回应 Sean 的一个观点，我确实认为，这件事反映出的部分现实是：这些大型 AI 公司感觉自己已经不再真正掌控这些模型了。这显然不是什么好事，也是我们所有人都应该担心的事情。
我认为，自己之所以对“末日论”持怀疑态度，或者说抗拒这种末日论，部分原因在于它已经达到了歇斯底里的程度：“哇，这可能在未来 10 年内毁灭人类。”这在一定程度上转移了人们对 AI 可能造成的更直接危害的注意力，无论是与劳动力相关的危害，还是与环境和气候相关的危害。
理想情况下，我认为我们应该能够讨论所有这些问题，并针对所有这些问题（包括 AI 带来的生存性威胁）建立监管和其他类型的保障措施。但一旦开始使用 AGI 和超级智能这样的说法，它们就会以一种并不怎么有帮助的方式，占据整个讨论空间。
来源与参考