防御者用提示注入反制 AI 攻击者

关键信息

据报道，这种效果依赖于把提示注入内容放在 AWS 的敏感数据旁边，使攻击中的 LLM 遇到被禁止的操作后，触发自身的安全护栏并关闭。文章将其描述为一种强但较具体的效果，并没有声称它对所有智能体或平台都普遍有效。

资讯摘要

提示注入过去主要被视为一种攻击技术：攻击者把恶意指令藏在 LLM 会读取的内容里，然后诱导模型照着执行。在这类场景中，一封电子邮件、一个日历邀请或一份文档里，都可能包含精心设计的命令，导致模型泄露数据或执行有害操作。Ars Technica 这篇文章称，防御者现在开始反过来利用同样的思路。Tracebit 的研究人员在周一报告说，把提示注入内容放在 Amazon Web Services 中的密码、加密密钥和其他秘密旁边，往往就能阻止 AI 黑客智能体继续攻击。

注入的文本会让攻击中的 LLM 去执行一个与其安全护栏相冲突的动作，而这些护栏原本就是为了阻止有害行为。结果不是攻击继续，而是模型自己关闭。文章把这看作提示注入首次或至少是较为少见的防御性用途之一。它同时暗示，这种方法可能更适合云环境中的秘密窃取防护，而不是对所有提示注入问题都能一劳永逸地解决。

来源与参考

1. 原始链接
2. Now, defenders are embracing the prompt injection, too