提示注入可助构建大规模AI僵尸网络
Ars Technica AI··作者 Dan Goodin
关键信息
其核心弱点在于，LLM 无法可靠地区分可信指令和嵌入在邮件、代码或其他第三方内容中的恶意文本。HalluSquatting 利用模型容易幻觉出仓库或注册表标识符这一倾向，随后注册这些标识符并植入恶意指令，例如反向 shell。
资讯摘要
这篇文章指出，在 AI 安全尚处于早期发展的阶段里，提示注入已经迅速成为最主要的威胁。根本原因在于，大语言模型无法可靠地区分合法用户指令和隐藏在邮件、源代码或其他第三方内容中的恶意指令。由于这种可信与不可信来源之间的边界无法真正强制执行，AI 开发者只能依赖各种缓解措施和防护栏，而不是从根本上解决问题。到目前为止，大多数提示注入都属于推送式攻击，也就是攻击者必须把恶意内容逐个送到每个目标面前，因此规模受到限制。拉取式攻击虽然也存在，但过去通常难以扩展，因为攻击者很难让大量模型主动访问恶意站点。
研究人员现在提出了一种名为 HalluSquatting 的新攻击方式，声称它改变了这一局面。该攻击面向那些在日常工作中会从仓库和注册表主动拉取代码与资源的编码助手和代理，而且这些工具往往还能使用高权限命令行执行第三方资源。攻击者通过预测模型最可能幻觉出的资源标识符，提前注册这些标识符，并在其中植入安装反向 shell 或其他恶意载荷的指令。研究人员表示，这种方法可能让攻击者在无需逐个定向的情况下，大规模组建僵尸网络、发起大规模 DDoS，甚至批量感染设备，因此它代表了一类新的、潜在严重的提示注入攻击。
资讯正文
在人工智能安全的简短历史中，prompt injection（提示注入）迅速成为头号威胁。大型语言模型本质上无法区分用户提供的合法指令，以及混入电子邮件、源代码和模型正在处理的其他第三方内容中的恶意指令。这使得悄悄注入恶意命令变得极其容易，而 LLM 又会照单全收。
由于无法在受信任与不受信任来源之间强制建立这道关键边界，AI 引擎开发者只能设置复杂的防护栏，试图缓解损害，而不是解决根本原因。
迄今为止，大多数提示注入都属于所谓的 push（推送）类攻击，在这种攻击中，每个潜在受害者都会被单独针对。例如，攻击者会将恶意指令注入某一封特定电子邮件或日历邀请中。由于注入内容随后必须被发送到每个具体目标（也就是被“推送”过去），攻击规模因此受到限制，妨碍了针对整个互联网的大规模利用。
与此同时，基于 pull（拉取）的攻击——即 LLM 主动去寻找埋在网站上的恶意提示——仍然有限。由于没有办法把大量 LLM 引诱到一个恶意网站，这类攻击同样难以扩展。
HalluSquatting 登场
现在，研究人员设计出了一种基于拉取的攻击，改变了这一切。研究人员将这种新攻击命名为 HalluSquatting，它有可能组建大规模僵尸网络、发动大规模 DDoS 攻击，并以规模化方式感染设备，这是提示注入攻击中的首次。该攻击针对 AI 编码助手和代理，包括 Cursor、Cursor CLI、Gemini CLI、Windsurf、GitHub Copilot、Cline、OpenClaw、ZeroClaw 和 NanoClaw，这些工具都容易受到影响。在日常执行任务的过程中，这些助手和代理会常规性地从仓库和注册表中拉取代码及其他资源。
HalluSquatting 是 adversarial hallucination squatting 的缩写，它建立在 LLM 天生倾向于“幻觉”出托管在仓库和注册表中的资源标识符之上。该攻击针对的是编码代理和助手，而这类工具通常会访问高权限命令行，以便从第三方资源运行代码。攻击者通过预测 LLM 最可能“幻觉”出的标识符，然后注册这些标识符，并植入用于安装反向 shell 或其他恶意软件的指令，就能在无需逐个锁定受害者的情况下，毫无差别地感染海量设备。
来源与参考