LLM安全问题被上升为“结构性缺陷”
研究者认为，模型很难可靠区分指令来源，思维链伪造可绕过多家主流模型的安全限制，这动摇了“通过红队和过滤就能彻底修补”的思路。（#3482）
LLM存在根本性的指令处理安全缺陷
研究人员在本月的 ICML 论文中提出，LLM 因为在判断指令来源时存在根本性缺陷，所以不可能被彻底做成完全安全。他们展示了一种“思维链伪造”式提示，可以绕过 OpenAI 的 gpt-oss-20b 和 GPT-5 等模型的安全限制，并表示类似现象也出现在 Anthropic、阿里巴巴和 DeepSeek 的模型中。
如果这一发现成立，它将挑战当前 AI 安全工作的一个核心假设：模型可以通过更好的过滤和红队测试被加固到足以抵御有害行为。这一点很重要，因为 LLM 正被部署到政府、军事、购物和医疗等敏感场景中，而指令伪造可能导致危险或未经授权的输出。
一组研究人员表示，大语言模型存在一个根本性的安全缺陷，这可能意味着它们无法被完全防住类似越狱的攻击。相关观点写在一篇本月提交到国际机器学习大会（ICML）的论文中，而 ICML 是人工智能领域最重要的会议之一。研究者认为，问题出在模型很难可靠判断某条指令究竟是谁发出的，因为用户提示、模型输出、草稿式思维记录以及复制文本会混杂在一起。
为了展示这种弱点，研究人员构造了模仿思维链文本风格的提示。思维链是模型在推理任务时会用到的一种“自我草稿”形式，研究者让伪造的草稿看起来像模型自己写出的指令。在一个例子里，他们要求模型提供制作可卡因的指南，并附上一段伪造笔记，声称如果用户穿绿色衣服，这类请求就被允许。结果模型真的把“绿色衣服”当作放行条件来回应。
文章称，这种方法对 OpenAI 的开源模型 gpt-oss-20b 和 GPT-5 都有效，研究人员后来还在 Anthropic、阿里巴巴和 DeepSeek 的模型上看到了类似结果。他们把这种攻击称为“思维链伪造”。这一技巧还赢得了 OpenAI 在 2025 年 8 月举办的红队黑客马拉松；与此同时，OpenAI 的其他研究人员据称也找到了非常相似的方法，并把它称为“伪造思维链”。
研究团队随后试图解释为什么这种攻击如此有效。他们认为，LLM 并没有像人类那样天然知道“这句话是谁说的”，因为对模型来说，一切都只是连续的 token 流。为了应对这种混淆，聊天机器人会用 user 和 assistant 之类的角色标签来区分来源，但论文指出，这些标签同样可能被伪造或利用。
研究人员还指出，现有安全方法主要是通过红队测试不断补充一份“禁止事项清单”，但这份清单永远不可能穷尽所有坏行为。因此，他们认为问题可能并不是单纯靠更多测试就能修好的，而可能是模型工作方式里就带有的结构性缺陷。Charles Ye 甚至表示，这很可能是一个“从根本上无解”的问题，而 Jasmine Cui 则用不断写规则却仍挡不住越界行为的类比来说明这一点。
这种攻击通过模仿模型自身思维链草稿的写法，让模型把伪造文本当成自己生成的指令来处理。研究人员认为，常规红队测试本质上是在列出一份“禁止事项清单”，但这种清单永远不可能穷尽所有情况，因此他们怀疑这个问题可能在根本上无解。
