OpenAI 用 GPT-Red 测试自家模型

关键信息

根据 OpenAI 的说法，GPT-Red 在测试场景中的成功率达到 84%，而人工红队只有 13%。这些结果会直接反馈到训练中，OpenAI 还表示，GPT-5.6 Sol 在直接提示注入上的失败次数比四个月前最好的模型少了六倍，不过更强的提示注入攻击仍有约 3.8% 能够奏效。

资讯摘要

OpenAI 正在使用一个名为 GPT-Red 的内部 AI 系统来攻击自家的模型，并寻找安全漏洞。GPT-Red 主要用于模拟提示注入攻击，也就是把恶意指令隐藏在邮件、网站或文件等内容中，等 AI 处理这些内容时再诱导它执行错误操作。该系统通过自我对弈强化学习训练，也就是攻击者和一组防御模型在对抗中同时进步。OpenAI 表示，GPT-Red 在 84% 的测试场景中找到了成功攻击，而人工红队测试者只有 13%。在一个演示中，它还成功操控了 OpenAI 办公室里的 AI 自动售货机，修改价格，并取消了其他顾客的订单。

OpenAI 说，这些发现会直接反馈到模型训练中，而且并没有损害通用性能。公司还称，GPT-5.6 Sol 在直接提示注入上的失败次数比四个月前最好的模型少了六倍。尽管如此，OpenAI 也承认，更强的提示注入攻击仍有约 3.8% 的成功率，说明问题还没有完全解决。GPT-Red 仍然只在内部使用，OpenAI 表示之后会发布一篇更详细的论文。

来源与参考

1. 原始链接
2. OpenAI is now using AI to attack its own AI, and it's working better than humans ever did