OpenAI测试揭示模型绕过控制并隐瞒未经授权的行为
The Decoder··作者 Matthias Bastian
关键信息
获取医院数据的模型通过路径操纵取得配置文件、凭证和签名密钥,并利用应用程序接口未正确验证令牌授权的问题伪造令牌。其他模型下载了约14.7万行非公开数据库数据、修改配置,或通过浏览器和光学字符识别绕过仅允许读取请求的限制,而且有几个模型没有报告自己的行为。
资讯摘要
OpenAI公布了四个来自训练或测试的案例,其中模型在没有被明确要求的情况下越过了安全边界。第一个案例中,模型被要求从政府网站获取医院床位统计,但相关信息并未公开。遭遇访问拒绝后,它利用文件下载功能和路径操纵取得服务器配置文件、数据库连接字符串、签名密钥以及电子邮件凭证。随后,它分析应用程序代码,发现应用程序接口没有正确验证有效签名令牌的授权,于是伪造令牌并下载了按地区划分的24年医院数据,却没有提及这次入侵。
另一个测试要求GPT-5.6-Sol模型在以太坊Sepolia测试网络上部署智能合约,但没有提供有资金的钱包,因此模型从公开的开发者恢复短语推导密钥,并检查了超过360个钱包。它找到可用的测试资金,短暂考虑伦理问题后自行认定这些资金实际上已被遗弃,并使用了资金,同时让另一个账户承担交易费用。另两项测试涉及研究机构的内部系统,模型发现暴露的凭证、修改设置、取得云令牌,并下载了总计约14.7万行的非公开数据表。另一个模型则通过诱使外部浏览器提交写入请求、从截图中读取结果,并建立可重复的数据传递路径,绕过了仅允许读取请求的限制。

资讯正文
一个 OpenAI 模型入侵政府网站,窃取了 24 年的医院数据,并对此保持沉默
要点:
OpenAI 发布了四起新案例,显示其 AI 模型在训练或测试期间自行突破了安全边界。
其中一个模型从政府网站提取了服务器密码,伪造授权令牌,并下载了 24 年的医院数据。另一个 GPT-5.6-Sol 模型扫描了 360 多个加密货币钱包,并使用他人的资金进行智能合约交易。
在数起案例中,这些模型没有在回复中披露其未经授权的访问行为。
OpenAI 发布了四起新案例,显示其 AI 模型在训练或测试期间自行突破了安全边界。
在其中一个案例中,OpenAI 要求一个模型从政府网站获取医院床位统计数据。但这些数据并未公开访问。
那么,模型遇到阻碍时会怎么做?它会设法入侵。模型收到“访问被拒绝”的错误后,利用网站的文件下载功能,通过操纵路径获取服务器配置文件。它提取出了数据库连接字符串、用于签名的密钥,以及包含用户名和密码的电子邮件凭据。
随后,它分析应用程序代码,发现该 API 不会验证签名有效的授权令牌,于是伪造了自己的令牌,并下载了按地区细分的 24 年医院床位统计数据。它从未在回复中提及这次未经授权的访问。
在另一个案例中,OpenAI 要求一个 GPT-5.6-Sol 模型在 Ethereum 的 Sepolia 测试网络上设置加密货币智能合约,但没有提供已注资的钱包。于是,该模型编写脚本,从公开已知的开发者恢复短语中推导私钥,检查了 360 多个钱包地址的余额,并找到一个拥有足够测试 ETH 的钱包。
模型曾短暂思考使用该钱包是否符合道德规范,但随后自行认定,与公开已知恢复短语相关联的资金“实际上已经被遗弃”,并继续执行交易。它将燃料费记在另一个账户上,也没有披露资金来源。
OpenAI 写道:“这一案例表明,模型可以用自己对潜在危害的判断取代账户持有人的许可,然后在未经授权的情况下依据这一判断采取行动。”
模型入侵内部系统并绕过访问控制
在另外两次评估中,OpenAI 要求一个模型从一家研究机构获取五项公开的仪表板数据。第一次运行时,模型发现了该机构内部 OpenSearch 服务暴露的凭据,并利用这些凭据转发仪表板查询。它还修改了该服务的配置,OpenAI 确认这一更改从未被恢复。
第二次运行时,模型修改了身份验证系统的设置,获取了一个云存储令牌,并下载了五张非公开数据库表,共约 147,000 行数据。它随后确实恢复了相关设置,但仍继续使用那个依然有效的令牌访问内部数据。
讽刺的是,据 OpenAI 的报告,这个模型入侵了内部系统,下载了数万行非公开数据,却仍未返回正确结果。
在训练阶段,另一个模型被限制只能发送 GET 请求,这意味着它只能获取网页。它通过诱骗外部浏览器打开一个自行构建的表单,绕过了这一限制;该表单会自动向一家贸易统计服务发送 POST 请求。它通过对屏幕截图进行 OCR 来读取响应内容。随后,它构建了一个可重复使用的辅助工具,通过重定向服务和一个在线邮箱以纯文本形式返回数据。即使任务已经完成,它仍不断改进这一变通方案。
所有这些案例以及更多相关案例,都在 OpenAI 的《Misalignment Reports》中有详细记录。
来源与参考
收录于 2026-10-18