开放前沿模型：收益是否超过网络安全风险
MIT Technology Review AI··作者 Grace Huckins
关键信息
开放权重模型会公开可下载的模型权重，但不一定提供训练数据、源代码或完整的训练细节。文章称封闭模型目前能力更强，不过开放模型仅落后数月；具备足够资源的用户可以运行、微调、压缩或组合这些模型。
资讯摘要
《麻省理工科技评论》探讨开放前沿人工智能模型的实际收益是否超过其安全风险。事件的直接导火索是Anthropic的一份报告，该报告认为中国公司Z.ai于8月发布的GLM-5.3构成重大网络攻击风险，因为任何人都可以下载并修改它。这场争论也受到商业利益影响：英伟达首席执行官黄仁勋支持发展更多可在用户硬件上运行的开放模型，而Anthropic首席执行官达里奥·阿莫迪则主张采取更谨慎的方式。除了商业因素之外，争论还反映了人们对人工智能安全和技术获取方式的不同看法。
ChatGPT和Claude背后的封闭模型通常只能通过网站、应用程序或接口使用，而开放模型则直接提供模型权重下载。研究人员可以检查开放模型的内部运行方式，研究其推理过程，将多个模型组合成新系统，并对模型进行压缩和特定应用微调。企业也可能偏好开放模型，因为它们通常运行成本更低；不过文章指出，封闭模型目前仍在能力上领先，而开放性始终伴随着民主化与安全之间的权衡。
资讯正文
上月底，Anthropic 发布了一份报告，称 GLM-5.3 模型构成了重大网络攻击风险。该报告的核心担忧是，这款功能强大的新模型由中国公司 Z.ai 于 8 月发布，任何人都可以免费下载和修改。Anthropic 的这一论断，只是围绕前沿 AI 模型究竟应像 GLM-5.3 一样开放，还是应继续锁在前沿实验室内部的一场长期争论中的最新动向。
如今，关于如何应对开放模型的许多争论都在公开进行，而其结果背后牵涉着巨额利益。Nvidia 首席执行官 Jensen Huang 如果人们继续购买自己的硬件来运行开放模型，将会获得很大收益，因此他热烈倡导美国开发更多开放模型；而 Anthropic 的 Dario Amodei 所领导的公司可能受到廉价而强大模型的冲击，因此他主张采取更为谨慎的方式。但在所有这些商业利益之下，人们围绕开放模型产生的分歧确实有实质内容。
“我认为，人们在开放性争论中所持的立场，很大程度上取决于他们在 AI 争论中的立场，”德克萨斯大学奥斯汀分校信息学院助理教授 David Gray Widder 说。担忧 AI 安全的人警告称，开放模型很容易被不法分子滥用；而更关注 AI 实际潜力的人则认为，这种力量不应只掌握在少数几家大公司的封闭体系之中，开放模型可以帮助更广泛地传播这种力量。
从完全禁止开放模型，到毫无约束地发布模型，存在一系列应对方式。但政府或社会采取的任何方案，仍然涉及安全与民主化之间的权衡。要决定支持还是限制开放模型的生产，就需要深入理解其中的风险与益处。
开放模型有哪些好处？
我们先从基础概念说起。闭源模型，例如为 ChatGPT 和 Claude 提供支持的模型，只能通过网站、应用或 API 访问。而开放模型则可以直接下载：其内部结构的详细信息被编码在一长串称为模型权重的数字中，并向公众开放。这类模型有时也被称为“开放权重模型”，以区别于那些公开了更多信息（例如训练流程细节）的模型。
目前，闭源模型的能力强于开放模型——截至本文发布时，Artificial Analysis LLM 排行榜上的前八名模型全部是闭源模型，不过开放模型在发展进度上仅落后几个月。但人们仍有多种理由选择开放模型，而不是闭源模型。由于开放模型可以下载，用户能够在自己的电脑或硬盘上运行它们。如果具备相应的专业知识和资源，用户甚至可以重新训练这些模型，使其表现出不同的行为。
如果你是一名致力于理解和改进 AI 系统的学术研究人员，那么在研究中使用开放模型几乎是必需的。研究人员在使用闭源模型时，除了发送提示词并观察回复，几乎无能为力。但在研究开放模型时，他们不仅可以观察模型的内部运作机制，还能查看模型在回答之前用于逐步思考问题的“思维链”。他们还可以将多个开放模型组合起来构建新系统，对模型进行压缩以提高效率，并针对新的应用进行微调。
企业也有偏好开放模型的理由。Mozilla 最近的一份报告显示，即使依赖外部供应商代为运行，开放模型的成本通常仍低于闭源模型。如果企业希望利用 AI 处理敏感数据或专有信息，那么在自有硬件上运行本地模型，可能是确保其业务安全的最佳方式。
但开放模型最重要的特性或许在于，它们挑战了前沿实验室对大多数人使用 AI 方式的严格控制。“支持开放模型最清晰、最重要的理由，是防止权力高度集中——确保这项基础性技术是一种公共产品。”Tony Blair Institute for Global Change 高级政策顾问 Elizabeth Seger 说，“我认为，我们正处于这样一个关口：谁控制着让 AI 得以运行的基础设施，与谁能够控制互联网上的信息一样，都是重大问题。”
Seger 认为，AI 的未来将呈现不同走向，具体取决于开放模型所扮演的角色。在一种可能的未来中，前沿 AI 系统完全由少数个人、企业或政府控制；随着这些系统变得更加强大，这些群体对我们的世界将呈现何种面貌拥有越来越大的控制权。例如，目前世界上最先进的黑客模型全部由美国开发，因此其他国家能否利用这些模型来加强自身的网络防御，完全取决于美国企业和美国政府。如果这些企业继续保持领先地位，那么从原则上说，我们最终可能会生活在这样一个世界：美国有能力入侵任何其他国家，但没有任何国家有能力入侵美国。
前沿开放模型或许能够改变这种平衡。“如果每个人都有一个忠于自己的、且安全可靠的 AI 系统，我认为这会比另一种情况更不令人担忧：人们只能依赖一个政府，而政府告诉他们，‘是的，我们有一个超级智能 AI 系统，它有自己的计划，而你们谁也无法理解它，只管相信我们。’”长期韧性中心（Centre for Long-Term Resilience）人工智能政策主任 Hamish Hobbs 表示。
但开放模型并不是地缘政治上的万灵药。Ghana NLP 联合创始人 Paul Azunre 指出，Ghana NLP 致力于为加纳资源匮乏的语言构建开源 AI 工具；开放模型也可能成为企业利用弱势国家的劳动和专业知识、并将更多权力集中到自己手中的一种方式。他发现了一种模式：AI 公司公开发布模型，观察社区如何使用和修改这些模型，然后将同样的改进整合到自己的产品中，却不给那些最初提出这些创新的人任何认可或补偿。Mark Zuckerberg 本人也曾表示，将社区改进整合进 Meta 技术栈的能力，是发布开放模型的一项关键收益。
Azunre 说：“我认为开源的理想非常高尚，它带来了许多价值。但从实际执行方式来看，它往往是一种高度攫取性的做法。”
开放模型的风险是否高于封闭模型？
过去几个月已经清楚表明，安全问题对于封闭模型而言仍然十分棘手。7 月，OpenAI 的代理对 Hugging Face 发起了自主黑客攻击；但人为滥用同样是真实的威胁：根据 Anthropic 最近发布的一份风险报告，在 Claude 的协助下，人们已经开展了数次大规模黑客行动。
因此，封闭模型本身已经足够危险，而开放模型可能更容易被利用。在 Anthropic 将用户查询传递给其某个封闭模型之前，会使用自动化系统检测查询是否涉及黑客攻击、生物武器或其他风险。一旦发现用户绕过了这些过滤器，公司就可以关闭其账户。但如果有人下载模型并在自己的硬件上运行，就没有过滤器来检查其提示词是否安全，也没有办法撤销其对模型的访问权限。
此外还有其他重要的防线。AI 公司会训练模型拒绝有害请求，因此即使有害提示词通过了 Claude 的过滤器，模型仍很可能会拒绝执行。从原理上说，同样的防线也可以用于开放模型，因为它是模型本身固有的一部分。遗憾的是，研究人员已经证明，将一个“安全的”开放模型重新训练为同意实施其此前被训练避免的行为，出人意料地容易。
鉴于这些事实，一些人认为开放模型实在太危险，不应发布。例如，一个能力足够强、能够指导某人合成一种高致病性新病原体的开放模型，落入不法之徒手中后可能造成灾难性后果。
但把开放模型简单地判定为危险、把封闭模型判定为安全，将是极大的过度简化。AI 公司围绕其封闭模型构建的防护措施远非完美，人们也一直在滥用这些模型，Anthropic 的风险报告清楚地说明了这一点。尽管开放模型针对滥用的防护更少，但不法分子仍可能选择封闭模型，因为与具备类似能力的开放模型相比，封闭模型更容易获得；后者需要大量昂贵的计算芯片才能在本地运行（如果想重新训练，还需要更多芯片）。
事实上，一些接受 MIT Technology Review 采访的专家以开源软件为类比，认为开放模型比封闭模型更具安全优势。Linux 操作系统等开源工具通常被认为比其闭源替代品更安全，因为它们的漏洞经过了庞大在线贡献者社区的探查和修补。同样，研究人员社区也能更容易地测试开放模型的安全漏洞，不过修复这些漏洞比重写一行代码要棘手得多。
开放模型还可以比封闭模型更广泛地用于网络防御。任何可用于黑客攻击的工具，也可以用于防止黑客攻击：防御者会攻击自己的软件，以发现需要修补的漏洞。Anthropic 已通过 Project Glasswing 计划展示了这对封闭模型如何发挥作用；该计划允许一些受信任的公司使用其能力最强的模型进行网络防御。但还有许多其他公司只能自行应对。
然而，开放模型的使用范围要广泛得多。在遭到 OpenAI 智能体攻击后，Hugging Face 强调，它不得不依靠开放模型来分析这次攻击，因为有关攻击的问题会触发封闭模型的安全过滤器。
尽管如此，许多专家仍认为开放模型比封闭模型风险更高。经过时间检验的开源安全逻辑，在面对如今乃至未来如此强大的模型时，不一定仍然成立。Seger 说：“复杂之处在于，当你开始认真考虑那些发生概率可能较低、但一旦发生就会造成灾难性后果的个别事件时，问题就变得棘手了。”例如，如果今天有一个极其强大的开放式黑客模型被投放到世界上，不法分子可能会在任何人有机会加强防御之前摧毁我们的技术基础设施。这样的事件可能根本无法恢复。
如果考虑模型可能自主采取的行动，风险看起来会更加严重。OpenAI 对 Hugging Face 的攻击之所以发生，是因为当时正在测试的公司模型移除了许多网络安全防护措施，而开放模型本来就几乎没有防护措施。如果开放模型确实决定做出不当行为，由于它们高度分散，要检测正在发生的事情可能会很困难。正因如此，像 Dario Amodei 这样认真看待失控智能体可能带来的所谓灾难性风险的人，往往对开放模型更加怀疑。
我们能否让开放模型更安全，同时保持更高程度的开放？
几年前，关于开放模型的争论被塑造成非此即彼的局面：要么你支持开放模型，因为它们有望对抗权力集中；要么你因为安全风险而拒绝开放模型。不过如今，人们正投入大量精力寻找某种折中方案。其中一种做法，就是设计能够降低开放模型安全风险的技术。
大多数用于闭源模型的安全工具，例如过滤器和监控机制，并不适用于开放模型，但还有其他可能性。一些研究人员有兴趣尝试训练一种模型，使其从未接触过教它学习不良或其他不受欢迎行为的训练数据——例如，一种从未学习过黑客攻击的开放模型。但在不损害模型性能的情况下，清除训练数据集中有关不当行为的所有内容，仍然是一项挑战。
另一些研究人员正致力于构建能够抵抗再训练的模型，从而使开放模型的安全训练不那么容易被移除。这些“防篡改”模型背后的理论十分合理：如果你反复尝试将模型再训练成不安全的模型，并强化模型对这种再训练表现出的任何抵抗，最终就能得到一个能够抵御未来再训练尝试的模型。然而，一篇近期的预印本指出，在实践中，目前所有让模型具备防篡改能力的方法，都无法经受住所有篡改攻击。
不过，AI 医学影像公司 Deep Breathe 的工程师、该论文的第一作者 Saad Hossain 希望，未来的技术能够证明更加有效。“我之所以保持乐观，是因为这是一个非常活跃的研究领域，许多人都在努力提出更新、更好的方法。”他说。
如果说开放模型的风险并不像乍看之下那样非黑即白，那么它们的益处也是如此。公开模型的内部结构，即权重，可能不足以打破由 AI 促成的权力集中。“我认为，开源在分散权力方面确实有非常实在的益处，但仅凭开源本身还不够。”Hobbs 说。开放权重是开放模型的最低标准：如果研究人员能够获得模型训练细节，包括模型所使用的训练数据，他们就能更深入地了解模型的工作方式，但 AI 公司通常不愿披露这些信息。
对于开放模型而言，可访问性同样重要。如果没有能够运行复杂模型的计算机芯片，即使拥有模型权重，你实际上也无法使用该模型。随着 AI 公司争相采购越来越多的芯片，这些芯片的价格已经高到令人望而却步。“开放性是我们为确保技术未来惠及所有人而需要采取的措施的底线，而不是上限。”Widder 说。
真正的开放性——不仅包括开放权重，还包括开放训练数据和可获取的硬件——当然也可能带来更多风险。如果每个人都能使用先进的人工智能硬件以及在其上运行的先进模型，那么任何人都有可能成为黑客。不过，也有一些策略可以降低这些风险。许多专家主张采取某种分阶段发布方式：模型最初处于封闭状态，随着其安全性得到确认，再逐步向公众开放更多访问权限。
要准确确定如何实施这些策略，就需要在开放模型的风险与益处之间取得谨慎的平衡。但如果正如一些专家所认为的那样，开放模型是实现积极的人工智能未来不可或缺的要素，那么这番努力将非常值得。
来源与参考
收录于 2026-10-14