OpenAI 质疑 SWE-Bench Pro 可靠性

关键信息

这项分析重点关注信号与噪声问题，意味着该基准可能把有意义的任务难度与干扰性或不一致因素混在一起。现有信息没有给出具体方法、量化的失效模式，也没有说明 OpenAI 是否提出了替代基准。

资讯摘要

OpenAI 发布了一项关于 SWE-Bench Pro 的新分析，这个基准被广泛用于评估 AI 系统在软件工程任务上的表现。根据现有摘要，该公司认为这个基准存在信号与噪声问题，从而降低了它的可靠性。换句话说，基准所测量的内容里，可能有一部分并不能清楚反映模型真实的代码能力。此次发布更像是对基准质量的批评，而不是产品发布或模型上线。

由于代码基准常被用来比较模型并宣称进步，热门基准出现问题会影响社区对排行榜和评测结果的解读。现有描述没有提供详细实验数据，但已经明确表达了对 SWE-Bench Pro 作为可靠代码性能衡量标准的怀疑。核心结论是，基准设计本身会显著影响 AI 能力看起来如何“进步”。

资讯正文

OpenAI 的一项新分析揭示了 SWE-Bench Pro 这项广受欢迎的编码基准中存在的问题，这引发了人们对其在评估 AI 模型时的可靠性和准确性的担忧。

来源与参考

1. 原始链接
2. Separating signal from noise in coding evaluations