AI安全担忧冲击Salesforce的Dreamforce乐观氛围
WIRED AI··作者 Maxwell Zeff
关键信息
Amodei明确表示，控制前沿发展节奏并不意味着冻结AI技术，他同时也推广了Claude与Salesforce的集成。文章将“失控事件”作为长期AI安全与传统网络安全的交汇点，例如OpenAI的智能体据报道曾意外入侵Hugging Face，但并未把这类事件当作灾难即将发生的证据。
资讯摘要
Salesforce首席执行官Marc Benioff在Dreamforce大会上以充满戏剧性的方式开场，重点展示公司的AI产品，并预计2027年年收入将超过460亿美元。这个乐观的商业氛围被一个核心问题打破：AI带来的潜在收益，是否值得人类承担可能威胁控制能力和安全的风险。Anthropic研究员Jacob Coxon辞职并警告称，追求能够自我改进的AI系统的企业正在“拿我们的生命下注”，使这一问题进一步受到关注。随后，Anthropic首席执行官Dario Amodei呼吁各国领导人帮助“控制前沿发展节奏”，包括OpenAI首席执行官Sam Altman在内的其他AI企业领导人也表示支持。
在Dreamforce现场，Amodei主张企业共同制定安全标准，同时强调，放慢前沿发展并不等于停止技术进步。Nvidia首席执行官Jensen Huang则提出不同看法，认为AI安全是工程挑战，只要企业在系统或产品显得不安全时暂停，就不必制定新的法律或监管措施。文章最后介绍了Sayash Kapoor和Arvind Narayanan的观点：面对自主智能体引发的事件，不能把长期AI安全与网络安全简单视为二选一的对立关系。
资讯正文
Benioff 在发表 Dreamforce 演讲时在人群中穿行，随后一台由远程操控的轮式摄像机跟随在他身后，将他的面孔投射到悬挂在这间穹顶般大厅天花板上的屏幕上。几分钟后，他让人调出了 Salesforce 年收入图表。公司预计，受其 AI 驱动产品需求等因素推动，年收入将在 2027 年突破 460 亿美元。观众报以掌声。但一个阴暗的问题始终笼罩着整个活动：人工智能真的值得我们拿所有人的生命去冒险吗？
在展示智能体构建仪表盘等炫目的软件演示之间，与会者还观看了硅谷高管们的辩论：AI 行业是否应继续一往无前，还是政府需要放缓 AI 的发展，以防止这项技术带来的灾难性风险。
上周，AI 研究员 Jacob Coxon 从 Anthropic 辞职，并公开警告称，那些竞相开发能够自我改进的 AI 系统的公司是在“拿我们的生命赌博”。到了周末，Anthropic 的其他员工也纷纷表达了类似担忧，CEO Dario Amodei 则敦促世界各国领导人帮助 AI 开发“控制前沿发展速度”。随后，其他 AI 公司 CEO 也开始支持这一想法，其中包括 Amodei 最大的竞争对手、OpenAI 的 Sam Altman。
但并非所有人都支持这一观点。白宫 AI 顾问 David Sacks 对 Amodei 的建议以及对 AI 灾难的担忧不屑一顾，称这“不过是又一次争取监管俘获的行动”。本周，特朗普总统的表态更进一步，称人们对 AI 存在生存性风险的担忧“是个骗局”。尽管政治环境充满挑战，美国国会仍在试图利用这一时机，推动立法监管 AI 行业。
在台上，身高 6 英尺 5 英寸的 Benioff 比 Anthropic CEO 高出一头。他在请 Amodei 对 AI 发展现状作出最新评估之前，热情地与对方握手。毫无疑问，这是 Benioff 的主场，但 Anthropic 已成为帮助 Salesforce 迈入 AI 时代的关键合作伙伴。
“假设你经营一家汽车公司，而另一家不是你的汽车公司发生了某种安全事故，”Amodei 说。他这番话含蓄地提到了 OpenAI 的 Hugging Face 事故。“攻击竞争对手显然非常诱人，”Amodei 补充道，但更负责任的做法是“组织行业中的其他企业，并思考我们能做些什么，为所有人制定标准”。
不过，这位 Anthropic CEO 特别谨慎地指出，控制前沿发展速度并不意味着“让技术停滞不前”。当然，他也抽出时间宣传 Claude 与 Salesforce 的集成。
Amodei 离场几分钟后，Nvidia CEO Jensen Huang 登台，并开始淡化 Anthropic 提出的担忧。Huang 认为，AI 安全本质上是一个“工程问题”，开发 AI 的公司完全可以自行监管。
“我们不需要任何新法律，也不需要任何新监管，”Huang 对 Dreamforce 与会者说。“你可以尽可能快地向前跑，但如果你在任何时候感觉公司已经失控，或者产品将无法确保安全，就暂停一下。”
这场争论对于 Dreamforce 来说似乎有些沉重，但话说回来，也许这里正是讨论它的理想场所。当科技高管们推销各自的企业级 AI 工具时，我离开了会场，经过那些毛绒吉祥物和带有模糊夏威夷风情的装饰，去接听即将担任加州大学伯克利分校计算机科学教授的 Sayash Kapoor 打来的电话。
Kapoor 与普林斯顿大学教授 Arvind Narayanan 是《AI Snake Oil》一书的合著者，两人还共同运营一个名为《AI as Normal Technology》的 Substack 专栏。他们以揭穿 AI 营销炒作而闻名，但并不否认这项技术的潜力。本周，两人发表了迄今为止篇幅最长的文章之一，试图厘清“失控事件”（loss-of-control incidents），即 OpenAI 意外让其智能体入侵 Hugging Face 等事件。
“我们在这篇文章中试图做的部分工作，就是超越这种虚假的二分法，在 AI 安全与网络安全之间搭起桥梁。”Kapoor 说，“如果你认为 AI 很快就会变得超级智能，并避开我们能够施加的任何控制措施，那么对齐问题（alignment）当然显得更加重要。另一方面，如果你认为 AI 公司一直疏于履行职责，连最基本的网络安全措施都不愿采取，那么自然会认为，我们需要通过控制来进行干预。我认为，这两种观点都有一定道理。”
在 Hugging Face 事件发生后，Kapoor 表示，令他惊讶的是，OpenAI 所采取的安全防范措施竟然如此之少。他认为，AI 公司需要正视自身“组织成熟度不足”的问题，并接受这样一个事实：失控事件不可能通过某一项安全或对齐领域的单一突破来解决。他还说，这起事件让他确信，政策制定者应当让 AI 实验室对其技术造成的危害承担责任。
“对于 OpenAI 来说，Hugging Face 被入侵所带来的后果基本上接近于零。该公司大体上可以照常运营。”Kapoor 说，“如果你设想一下，其他任何行业发生了如此严重的事故，你会看到为期数月的内部调查，会有人被解雇或入狱；OpenAI 还必须支付数百万美元的罚款。”
Kapoor 并不完全支持 Amodei 提出的放慢前沿发展的主张，但他认同其中的部分内容。他认为，AI 实验室需要更完善的治理，摆脱“快速行动、打破常规”（move fast and break things）的态度；同时，它们也应允许独立评估机构评估自身的 AI 安全与网络安全实践。他与 Narayanan 写道，进一步开展对齐工作当然是必要的，但当前真正的危机更明确地说是网络安全问题。
另一些人则认为，Hugging Face 事件暴露出 AI 实验室确实面临一场对齐危机，而这将是一个更难解决的问题。最近几周，独立研究人员发现了更多类似案例：OpenAI 的智能体群入侵了第三方服务。AI 安全非营利组织 Nightingale 的首席执行官 Sydney Von Arx 协助发现了其中两起事件，目标分别是一个德语维基和软件服务 RubyGems。
“这些事件清楚地表明，当前许多人工智能的目标对齐存在严重问题。”Von Arx 对 WIRED 表示，“没错，这些公司需要能够控制自己的模型，确保即使模型存在目标错位，也不会发起网络攻击。但我们一开始也不应该构建出那些会自主尝试逃脱并实施网络攻击的强大人工智能。”
采访结束后，我冲下楼，试图排队参加 Benioff 与 Altman 的炉边谈话。OpenAI 首席执行官告诉现场观众，“世界有理由对人工智能公司感到害怕”。但谈话结束时，Altman 表示，他希望 OpenAI 在公司成立的第二个十年里能够打造出更好的产品。
“这就像我们去向诸神盗取火种。这是世界上刚刚发生的一件疯狂的事情。”Altman 在谈到人工智能技术时说道。他希望 OpenAI 能够“想办法以对人们最有用的方式，把这种价值交给他们；想办法赋能地球上的每一个人、地球上的每一家企业，让他们拥有这股能力洪流”。
Huang 为自我监管所提出的理由，取决于人工智能公司不仅知道什么时候该暂停，还要具备真正停下来的自制力。但它们是否具备这种能力，目前并不清楚。就在警告世界人工智能实验室迫切需要放慢脚步几天后，同一批首席执行官又出现在规模最大的企业软件大会上，推销他们最新的产品。虽然他们也谈到了对人工智能末日的担忧，但他们到场的主要目的，还是确保资金继续流入。
来源与参考
收录于 2026-09-18