AI网络安全需要开放系统,而不仅仅是大模型
Hugging Face Blog··作者 Margaret Mitchell
关键信息
支撑结构(scaffolding)是指使像Mythos这样的AI模型能够与代码库、工具和工作流交互的基础设施——例如自动化测试、补丁生成和验证——这对实际漏洞检测和修复至关重要。
资讯摘要
文章指出,有效的AI驱动网络安全不仅依赖于大型语言模型如Mythos,还取决于完整的系统架构——包括计算资源、训练数据、漏洞处理的支撑结构、速度和自主性。它强调Mythos的成功来自这种集成方法,而非单纯的模型性能。文章还警告称,封闭源代码系统可能集中知识并造成单点故障,而开放生态系统则将责任分散到社区中,使其更具韧性。
此外,AI辅助的逆向工程使得即使是遗留的二进制代码也变得脆弱,且专有开发中的不良激励可能导致更多漏洞隐藏在防火墙后。最终,开放有助于平衡攻击者与防御者之间的不对称性。
资讯正文
神话(Mythos)是一款“前沿人工智能模型”,即大型语言模型(LLM),可用于处理软件代码(以及其他许多任务)。这符合当前大语言模型发展的普遍趋势:近期,LLM在与代码相关的任务上的表现大幅提升。特别值得注意的是,神话所嵌入的系统——真正推动其快速发现并修补软件漏洞的,并非模型本身,而是整个系统架构。理解这一区别,是把握当前AI网络安全格局的关键。
神话表明,以下系统组合具有强大能力:
- 强大的计算资源
- 基于海量软件相关数据训练的模型
- 专门设计用于探测和修补软件漏洞的支撑结构
- 由计算能力(以及背后资本)驱动的速度
- 一定程度的系统自主性
这些要素共同作用,能够发现软件漏洞、识别利用方式并生成补丁。真正带来收益和风险的,不在某个单一模型中,而在于整个系统的构建方式。
这一点至关重要,因为其他人也可以搭建类似的系统。如果使用更小的模型,并结合深厚的安全专业知识和广泛的计算资源,可能以更低的成本实现类似效果,这对防御尤其有利。AI网络安全能力并不随模型规模或通用基准性能线性增长——模型所嵌入的系统才是关键。
因此,神话展示出一种可能性:可以构建一个能自动发现并修复软件漏洞的人工智能系统。我们早已知道这是可行的,且已有越来越多的研究致力于此;但我们现在才刚刚开始探索,在代理型AI(agentic AI)语境下这意味着什么:即那些能快速且自主采取行动的系统。
随着能自主识别软件漏洞的系统日益普及(这种情况终将发生),开放源代码和工具将有助于平衡竞争环境。软件安全正演变为一场跨越四个阶段的速度竞赛:检测、验证、协调和补丁传播。开放生态体系将这些环节分散到社区中,而封闭源代码项目则把所有四个阶段的知识和行动集中在一个供应商内部,形成单点故障——只有单一组织能看到并修复代码。开放开发的分布式特性对这类限制具有更强韧性,尤其在拥有专职安全人员的社区中更为强大,比如Linux内核安全团队、开源安全基金会(Open Source Security Foundation),以及Hugging Face团队在模型和供应链安全方面的努力。
支持更封闭系统的常见论点是专有隐蔽性——即底层代码不可访问。然而,这种保护力已不如从前。人工智能系统越来越擅长辅助逆向工程剥离后的二进制文件,这一点意义重大,因为大多数遗留固件和嵌入式代码都是封闭的、仅以二进制形式存在且不再维护。这些代码构成了巨大的攻击面,而随着AI工具的进步,它们正变得越来越可读、更容易被访问。
AI 和网络安全的未来:开放为何至关重要
在封闭代码库中使用 AI 也带来了风险。当公司因错误的激励机制采用 AI 编程工具时(例如,以交付的功能数量而非代码质量来评估工程师),AI 加速开发可能会比传统开发方式引入更多漏洞到专有代码中。这些漏洞随后会存在于一个封闭的代码库内,只有单一组织能够发现并修复它们,而具备 AI 能力的攻击者则越来越有能力从外部发现这些漏洞。这种在单一组织防火墙后快速产生更多漏洞的情况,正是开放生态系统能够避免的不平衡。
这一切背后的根本问题是攻击者与防御者之间的能力不对称。开放模型和开放工具通过让防御者获得与攻击者相同的类能力,缩小了这一差距——而这些能力原本只集中在少数资源丰富的实体中。
网络安全防御是开源和 AI 代理可以协同发挥关键作用的领域。根据系统卡片信息,似乎 Mythos 具备近乎完全自主运行的能力,但我们曾建议避免这种情况,因为这可能导致控制权丧失。相比之下,半自主的 AI 代理更为合适,即其可执行的操作类型事先明确设定,并且某些步骤需要人工批准。这样的半自主系统能在收益与风险之间取得平衡。在该模式下,人类依然保持控制权,AI 代理负责特定子任务。这种设置可以通过组织内部私有运行的开源代码实现,允许组织自行规定可用工具、技能以及系统访问权限。在此架构下,AI 代理可以用于防御目的,如主动发现漏洞并在组织自身控制下协助修补。
半自主方法依赖于人类能够真正理解 AI 代理所执行的操作及其原因。如果系统基于开放组件构建(如开放代理框架、开放规则引擎以及可审计的决策日志和追踪记录),这种理解就更容易实现;而在黑箱系统中则几乎不可能。所谓‘人在回路中’只有在人类能看清整个回路时才具有意义。
企业无需从零开始打造这些能力。目前存在一个丰富的开源安全工具生态系统,包括漏洞扫描器、入侵检测系统、日志分析工具和模糊测试框架等,AI 代理可以集成其中,从而提升整体防御效能。
对于高风险组织而言,从开放且可审计的基础开始,意味着安全团队可以真正检查其监控机制的工作原理,而不是仅仅依赖单一供应商的声明。这一点在涉及敏感数据和流程时尤为重要,因为敏感内容通常不应通过外部AI提供商传输。开放系统可以让内部安全专家进行严格分析,使用组织自身的安全数据进行微调,定制符合组织需求的监督机制,并完全在组织自己的基础设施内运行,确保所有内容都处于适当的防火墙之后。
攻击者将开发利用漏洞的模型。解决之道之一在于推动透明实践:开放的安全审查、公开的威胁模型、共享的漏洞数据库以及任何团队都能采用的开源工具。如果每个组织都试图仅依靠专有工具孤立地自我保护,将难以应对那些在自身社区中协作并共享技术的攻击者。
人工智能网络安全的未来将更多由围绕模型形成的生态系统塑造,而非某个单一模型。开放性为防御方提供了可见性、控制力、社区支持以及共享基础设施,使他们能够保持领先。
来源与参考
收录于 2026-04-22