OpenAI 用 GPT-Red 加固 GPT-5.6

关键信息

GPT-Red 在一个模拟真实部署场景的“道场”里，通过与其他模型进行自我对弈式训练不断提升攻击能力。

资讯摘要

OpenAI 表示，他们构建了一个名为 GPT-Red 的 LLM“超级黑客”，用来充当自家模型的对抗练习伙伴。这个系统的目标是自动化红队测试，也就是在软件正式发布前尽可能多地找出可以被攻破或劫持的方式。OpenAI 说，最新旗舰模型 GPT-5.6 就是在与 GPT-Red 对抗训练后完成的，并且因此成为目前最稳健的版本。公司认为，这种做法可以为未来的安全测试体系做准备，因为模型能力越来越强，也越来越多地以智能体形式部署。

所谓智能体，指的是可以与文件、网站、电子邮件、日历应用、代码以及其他智能体交互的系统，这会显著扩大攻击面。OpenAI 重点关注的是提示注入攻击，即攻击者把恶意指令隐藏在模型可能接触到的文本中，让模型泄露信息或执行违背用户意图的操作。GPT-Red 的训练是在一个名为 dojo 的模拟环境中进行的，通过自我对弈循环与其他模型反复交锋，场景包括浏览网页、读取邮件和编辑代码。研究人员表示，GPT-Red 不仅在多轮训练中学会了更有效地攻击其他模型，还发现了新的攻击变体，其中包括一种此前未见过的提示注入模式，OpenAI 将其称为 fake chain of thought。

来源与参考

1. 原始链接
2. Meet GPT-Red: an LLM super-hacker OpenAI built to make its models safer