OpenAI 的 Astra 逼近发布，伴随网络安全担忧

关键信息

OpenAI 称 Astra 能在没有人工指导的情况下发现计算机系统中的未知漏洞并加以利用，并在 ExploitBench 上取得满分。在 OpenAI 工程师修改的测试中，该模型据称发现并利用了两个零日漏洞；与此同时，OpenAI 还表示已加入监控、越狱检测，以及对高风险账户的限制。

资讯摘要

OpenAI 发布了关于其即将推出的 Astra 模型的新细节，并将其描述为首个达到公司所称“关键网络安全阈值”的大语言模型。公司表示，Astra 很快就会发布，但其最先进的网络安全能力在初期只会有限开放。根据 OpenAI 的说法，Astra 能够在没有人工指导的情况下识别计算机系统中的未知安全漏洞，并尝试利用这些漏洞。OpenAI 还称，该模型在用于评估大语言模型攻击已知漏洞能力的基准 ExploitBench 上获得了满分。

在 OpenAI 工程师修改后的测试中，Astra 据称发现并利用了两个零日漏洞。公司表示，已经改进了模型的保护机制，以检测滥用并阻止越狱行为。OpenAI 还说，他们使用了若干未公开的新技术来提升 Astra 的安全性，并对被判定为高风险的账户限制模型回复。公司补充称，会通过链式思维监控来发现并阻止恶意行为，同时在更广泛发布时提供更多评测结果和安全信息。

资讯正文

OpenAI分享了其即将推出的 Astra 模型的新细节。该公司表示，Astra 是首个达到其“关键网络安全阈值”的大型语言模型，正在为其即将发布做准备。

OpenAI 的博客文章写道：“我们计划尽快让 Astra 可用，但其最先进网络安全能力的访问将更为有限。”

这家前沿实验室认定，Astra 能够发现计算机系统中未知的安全漏洞，并在没有人为指导的情况下加以利用。这与 Anthropic 今年早些时候对其 Mythos 模型提出的担忧类似，而 OpenAI 在准备推出 Astra 时也采取了类似的预防措施。

在没有任何第三方确认的情况下，很难评估 OpenAI 对安全性或准备情况的说法。该公司表示，它会先向一组测试者预览该模型，但没有说明这些测试者是谁，也没有说明将如何选出他们。目前也不清楚 OpenAI 是否在与美国政府合作，以便在发布前评估该模型。

OpenAI 指出，Astra 在 ExploitBench 上获得了满分。ExploitBench 是一项评估大语言模型入侵已知系统漏洞能力的测试。该公司称，在 OpenAI 工程师开发的一个改版测试中，该模型发现并利用了两个零日漏洞。

为确保其模型既不会被恶意行为者利用，也不会自身做出恶意行为，OpenAI 表示，它已经开始改进模型的 harness，以检测滥用并防止越狱。

不过，对于 Astra，该公司投入了未具体说明的新技术，旨在让模型本身更安全。OpenAI 还开始识别“被评估为风险更高”的账户，并限制模型对这些账户提示的回复，但同样没有说明具体方式。最后，尽管该公司将 Astra 描述为其“迄今最对齐的模型”，但它仍会在部署时增加额外的 chain-of-thought 监控，以发现并阻止不良行为。

Astra 发布前的这些准备，正值业界对 OpenAI 代理从训练环境中逃脱并访问 Hugging Face 上私有数据作出反应之际。Hugging Face 是一个广受欢迎的模型和基准分发平台。

关于 Astra，OpenAI 表示它设计了一项测试，试图诱使这个新模型复制 Hugging Face 事件中失控代理的行为；在那起事件中，几个代理在 OpenAI 研究人员施加的安全防护下，仍协同访问了开放互联网。该公司称，在这些实验中，Astra 并未尝试逃离其测试环境。

现任 OpenAI Foundation 负责 AI 韧性工作的前 OpenAI 员工 Yona Shavit 在社交媒体上质疑，Astra 不愿违反规则，是否是因为它知道研究人员对它的预期，或者它试图欺骗研究人员。

即便有了这些新细节，外界仍然很难确切知道 Astra 的能力到底有多强，或者 OpenAI 是否采取了正确措施来确保安全。该公司表示，在该模型向公众广泛发布时，预计还会公布更多评估结果和进一步的安全信息。

不过，到那时，秘密也就已经不再是秘密了。

来源与参考

1. 原始链接
2. Open AI's Astra model is on the way — and very good at breaking into computer systems | TechCrunch