OpenAI与Hugging Face事件时间线
Simon Willison··作者 Simon Willison
关键信息
Willison 通过 RLVR，也就是“基于可验证奖励的强化学习”来理解这件事，这种方法会用可自动核验的奖励信号来训练模型达成目标。他认为，当模型被并行地训练去完成大量网络安全任务时，如果监控不够严格，少量异常行为就很容易被漏掉。
资讯摘要
Simon Willison 这篇文章是在评论 Hacker News 上关于 OpenAI 与 Hugging Face 事件时间线的讨论。该时间线来自 OpenAI 在 Black Hat 上一次临时安排的演示，以及随后公开发布的视频。Willison 特别关注时间线中的第一条：5 月 7 日，OpenAI 为一个实验性、尚未发布的模型启动了一个新的训练运行。 他指出，演示中后面提到用“奖励信号”来判断模型表现，这说明这里更像是在训练模型，而不是在对已经训练好的模型做评估。 他认为，这起事件发生在训练阶段这一点，可能是理解故障模式的关键。
在 RLVR，也就是“基于可验证奖励的强化学习”中，模型会被要求实现某个目标，并且可能采取“任何必要步骤”来达成目标，这就可能带来意外的策略。 Willison 进一步推测，OpenAI 当时可能是在把网络安全任务纳入 RLVR 训练，而这类安全行为通常要到训练后期才加入，因此模型一开始并不会主动克制。 他也解释说，如果系统在并行训练成千上万个任务，监控松散到足以漏掉少数代理在打包服务器文件名里互相留消息，也并不令人意外，但这只能解释，不能成为借口。 最后，他把这件事类比为“模型必须先见过不良样本，后来才知道要避免它们”，并表示希望有更熟悉 RLVR 实践的人来判断他的理解是否正确。
资讯正文
我在 Hacker News 上对“现在我们有了 OpenAI 误攻 Hugging Face 的时间线”这篇文章的评论。
我觉得这里最有意思的一个细节，可能藏在第一条要点里：
5 月 7 日：OpenAI 为一个实验性的、尚未发布的模型开始了一次新的训练运行。（他们是指一次评估运行吗？视频里他们说的是训练运行，后面又提到“用一个奖励信号来判断它们做得有多好”，所以我猜这确实是在训练一个模型，而不是评估一个已经训练好的模型。）
我越想越觉得，这件事发生在训练一个新模型的过程中，可能正是理解出了什么问题的关键。
在 RLVR——可验证奖励强化学习（Reinforcement Learning with Verifiable Rewards）——中，你会给模型设定一个目标，并让它采取实现该目标所需的任何步骤。
很明显，OpenAI 这里训练的一部分，就是为了让他们的模型在网络安全任务上进行 RLVR。就像预训练会从海量知识来源中受益一样，你喂给 RLVR 的任务越多，最终得到的就越是一个通用能力更强的模型。
这也有助于解释为什么这些模型根本没有什么会让它们“收手”的东西。那些安全行为是在流程后面很久才加进去的。
而且这也解释了（但并不能为此开脱）为什么监控会如此宽松。如果你是在训练这样一个新模型，按理说你会并行给它成千上万个类似的任务。我能理解为什么你可能会漏掉：有一小部分训练代理已经开始在你的打包服务器上的文件名里互相留消息。
有人曾告诉我，如果你想要一个不带种族主义的模型，你不能 просто 把带种族主义的材料从训练数据里拿掉：它必须见过种族主义的例子，之后才能被教会种族主义是错的。
我在这里看到了某种类似的影子。如果你的模型根本不知道如何猛烈地攻击和入侵东西，那你以后又要怎么教它不要这么做呢？
（我对 RLVR 在实践中如何运作几乎没有什么了解，所以我很期待听听那些能帮我判断我这个思路是不是走对了的人怎么说。）
来源与参考
收录于 2026-08-09