AI护栏阻碍网络安全研究
TechCrunch AI··作者 Lorenzo Franceschi-Bicchierai
关键信息
研究人员表示，当模型拒绝协助分析漏洞利用或确认漏洞时，防御工作就会变慢，因为同一个提示词既可能用于防御，也可能用于攻击。文章提到 OpenAI 的 Trusted Access for Cyber 和 Anthropic 的 Cyber Verification Program 等审核访问计划，并指出一些从业者在商业系统受限时，会转而使用没有护栏的开源模型。
资讯摘要
TechCrunch 报道称，本来用于阻止恶意黑客使用先进模型的 AI 护栏，如今正在给合法的网络安全工作带来麻烦。文章指出，AI 公司围绕最强模型建立了专门的审核计划和限制措施，但这些限制也会妨碍研究人员在犯罪分子之前发现漏洞。6 月，美国政府对 Anthropic 的 Mythos 和 Fable 模型实施了出口控制，原因至少部分来自一份报告，该报告声称可以绕过这些模型的护栏，从而帮助构建和执行网络攻击。文章还说，这些限制后来发生了变化：Fable 5 已于 7 月 1 日恢复为普通访问，而 Mythos 5 则只对经过审核的美国机构重新开放，作为政府审查流程的一部分。TechCrunch 提到，Anthropic 和 OpenAI 都提供面向网络安全的审核项目，例如 OpenAI 的 Trusted Access for Cyber 和 Anthropic 的 Cyber Verification Program，获批后可获得更少限制的模型访问。
安全研究员 Mark Dowd 在文中批评说，让大型公司去“随意决定”安全研究中什么是安全、什么不是安全，这让人并不放心。文章进一步解释，进攻性安全研究人员常常需要让模型尝试分析某个漏洞可能如何被利用，才能确认这是否是一个真正严重的问题。NCC Group 的首席科学家 Chris Anley 认为，如果护栏直接拒绝这类提问，就会伤害防御者，因为同样的工具既能发现漏洞，也能修复漏洞。当天然模型被商业产品拒绝配合时，一些团队会转而使用不带护栏的开源模型。整篇报道把这一争议归结为一个更大的问题：AI 安全系统究竟如何才能在防止滥用的同时，不削弱合法的防御和研究工作。
资讯正文
数月来，AI 巨头们一直在设计专门的审核程序和严格的护栏，以限制恶意黑客使用其模型。但如今，这些限制正在妨碍合法网络防御者以及进攻性网络安全研究人员的工作。
6 月，美国政府对 Anthropic 备受炒作的 AI 模型 Mythos 和 Fable 施加了出口管制限制。此举至少部分是由一份报告引发的，该报告声称可以绕过这些模型旨在防止用户利用它们来构建和执行恶意网络攻击的护栏。
无论这一事件是否真的出于对越狱的担忧，事实是，Anthropic 一再将 Mythos 宣传为某种末日级网络机器，而且只能交给经过仔细审核的用户使用，即便如此，也要在严格护栏下使用。（此后，针对 Fable 5 和 Mythos 5 的出口管制已经解除。Fable 5 于 7 月 1 日恢复向所有用户开放；Mythos 5 则仅作为政府审查流程的一部分，重新向经过审核的美国组织提供。）
这种门槛设置并非 Mythos 独有。Anthropic 及其其他模型，以及 OpenAI，都向网络安全研究人员提供了可申请审核的项目；一旦通过审核，他们便可获得对限制较少的模型的访问权限：OpenAI 的 Trusted Access for Cyber program 和 Anthropic 的 Cyber Verification Program。
这些护栏一直备受批评，尤其是那些工作职责就是寻找系统中的未知漏洞，并在犯罪分子之前设计出利用方式的研究人员。
在最近一次网络安全播客节目中，知名安全研究员 Mark Dowd 表示：“对我来说，这些不相干的大公司在就安全领域什么是安全、什么不安全做出武断决定，这真的不太让人舒服。”
Dowd 花了数十年时间寻找并向西方政府出售“零日漏洞”——此前未知的软件缺陷及其利用方式——而不是把它们报告给软件厂商以便修补。政府之所以愿意为漏洞支付高价，正是因为这些漏洞会继续保持开放，这对情报行动很有用。
Dowd 承认，他的工作方式可能让他带有偏见，但他并非孤例。一些从事进攻性网络安全工作的人——他们会主动探测系统弱点——向 TechCrunch 讲述了他们如何使用 AI 工具以及如何应对这些护栏。
安全咨询巨头 NCC Group 的首席科学家 Chris Anley 表示，要求 AI 模型尝试利用一个漏洞，是确认它确实是值得修复的真实漏洞的关键步骤。但如果某项护栏让模型直接拒绝回答这个问题，那么这项护栏就会伤害防御者，他说。
Anley 说：“这就是整个进攻与防御以及护栏之间关系发挥作用的地方，因为把‘修复这段代码’作为提示词，既是防御所必需的一种机制，同时也是寻找代码库中关键漏洞的路线图。所以与此同时，同一个工具既是进攻工具，也是防御工具，而这两者实际上无法真正分开。”
这就“像一把锤子，”他继续说道。“没有锤子你就盖不起房子。它当然是一种工具，但它不可约地也是一种武器。”
当他和同事遇到这样的障碍时，他们有时会退而使用开源 AI 模型，这些模型根本没有任何护栏。
如果你使用 AI 模型来寻找漏洞并开发利用代码？我们很乐意听取你的意见。请在非工作设备和网络上，通过 Signal 联系 Lorenzo Franceschi-Bicchierai，号码是 +1 917 257 1382，或通过 Telegram 和 Keybase 联系 @lorenzofb，或者发邮件。Crowdfense 的首席技术官 Paolo Stagno 同意 Dowd 的看法，他表示，AI 公司通过其经过筛选的程序和护栏，“基本上把客户当作需要人照看小孩的人”。Crowdfense 是一家知名公司，向政府机构开发、收购并出售未知漏洞。
Stagno 说，他和同事确实会使用前沿模型——但只用于逆向工程。他说，他们避免用 AI 来帮助寻找漏洞或构建利用代码，因为把这类工作输入到基于云的模型中，可能会导致敏感漏洞数据泄露，或者被吸收到未来的训练轮次中。对于这一步，他说，他们使用本地运行的开源模型，因为它们不依赖于将数据共享到模型之外。
安全研究员 Giuseppe Cali 会寻找零日漏洞并开发利用代码，他表示护栏并没有妨碍他的工作。这是因为他并不使用 AI 来做进攻性工作；相反，他把它用于初步逆向工程，以理解自己正在分析的代码，并构建辅助工具。他说，AI 工具在这方面可以加快流程，让他专注于发现漏洞。
Cali 说：“我仍然想自己负责实际的漏洞发现和武器化，即使明天所有护栏都被取消，这一点也不会改变。我对自己的漏洞有占有欲，而且我太喜欢这个游戏了，不会让模型替我玩。”
一家智能手机组件制造商的一名研究人员匿名表示，因为他没有获准对媒体发言，所以无法透露姓名。他说，他们的雇主并不在 Anthropic 的 CVP 计划中，因此其工具在寻找漏洞方面几乎没什么用，因为护栏太严格了。
“如果它察觉到我们在做任何与安全相关的事情，它就会直接停止，根本没法用，”这名人士说。
网络安全公司 RemoteThreat 的首席执行官、专注进攻性安全和 AI 的活动 Offensive AI Con 的创始人 Chris Thompson 表示，根据他使用前沿 AI 模型的经验，护栏可能前后不一，而且每天表现都不同。即便在 Anthropic 和 OpenAI 更宽松的经过筛选的项目内部，情况也是如此。
Thompson 说：“我认为，实际影响是你会花大量时间和模型周旋，而不是在核心安全项目上工作。你不是在分析漏洞并推演其可利用性，而是在试图找出为什么结果不一致，或者为什么模型把输出过度净化了。”
因此，Thompson 说，研究人员不得不依赖，或者被迫转向像 GLM 这样的中国开源模型——这些模型可以免费下载、在本地运行，而且不需要审查或使用限制。
他说：“这些本来负责任的研究人员，正被从美国治理的系统推向外国拥有的系统。我认为，设置这些护栏弊大于利。”
Thompson 表示，与其进一步收紧限制，不如让 AI 前沿实验室开放他们的程序，提供负责任的访问权限，并让那些滥用其工具的人承担责任。否则，他认为，防御方将在这场 AI 竞赛中落后。
他说：“一场巨大的风暴正在逼近。会有一波前所未有的攻击，以前所未有的速度和规模发生。但那些试图带来改变的安全咨询公司和真正的研究人员，现在却正在被压制。”
来源与参考
收录于 2026-07-25