影子评估挑战自主AI科研说法
The Decoder··作者 Jonathan Kemper
关键信息
实验中的智能体获得了 6 天时间、3,000 美元 API 额度、GPU 预算、完整虚拟机和开放网络访问权限，并通过基于 OpenClaw 的脚手架调用子智能体和外部 AI 评审工具。日志显示，它们在判断研究是否具备发表价值、假设失败后的创造性调整、资源使用和指令遵循方面都存在反复失误，而且两篇论文都超过了 NeurIPS 的篇幅限制，按常规流程很可能会被直接退稿。
资讯摘要
Anthropic 和 OpenAI 近期都曾强调，前沿模型已经有望加速 AI 研究，但普林斯顿大学与英国 AI 安全研究所的新论文认为，目前支持这种说法的证据仍然不足。作者指出，现有评估要么只测一些答案容易验证的狭窄任务，要么依赖 AI 生成论文走同行评审流程，而他们认为这种做法过于嘈杂、质量也不稳定，难以真正衡量自主科研能力。为弥补这一缺口，研究团队提出了“Shadow Evaluation”：先把一篇未公开论文的核心研究问题交给智能体，再由最初完成该研究的作者像会议审稿人一样对结果进行评估。由于论文尚未公开，智能体无法直接从网页或训练数据中复现答案。
研究团队将这一方法用于两篇 NeurIPS 2026 投稿，一篇研究如何通过权重引导语言模型的人格特征，另一篇研究 TabPFN 如何识别部署数据与训练数据严重偏移、从而导致准确率下降。实验中使用的是 Claude Opus 4.8 和 Extra-High Reasoning，智能体拥有 6 天时间、3,000 美元 API 额度、GPU 预算、网络访问权限，以及一个基于 OpenClaw 的脚手架，能够启动子智能体并管理长时间运行的任务。最终，原作者将两篇生成稿都判为拒稿，并批评其动机不足、行文难读、缺乏真正的新贡献。对日志的分析还显示出更深层的问题：智能体虽然能提出看似合理的想法，但一旦结果不理想就会放弃，缺少在假设被证伪后继续开辟新方向的能力；它们也低估了工作量，忽视资源使用情况，并且在长上下文中逐渐偏离明确指令。
资讯正文
研究与 Anthropic 和 OpenAI 所宣称“自主 AI 研究近在咫尺”的说法相矛盾
Anthropic 和 OpenAI 一直在宣扬其模型加速 AI 研究的能力。一项使用未发表 NeurIPS 论文的新实验则讲述了不同的故事。
AI 智能体能否独立开展 AI 研究？普林斯顿大学和英国 AI 安全研究所的一篇新论文对此说法进行了检验。如今最前沿的模型能够处理研究工程工作，但在研究过程中真正重要的那些环节上，它们却表现不佳。
作者认为，关于自动化 AI 研究的说法一直缺乏有力证据。现有评估要么只测试智能体在狭窄、可验证任务上的表现，要么把 AI 生成的论文提交同行评审；研究人员称这一过程“过度延展、随机性强，而且评审质量很差”。
一种测试 AI 研究能力的新方法
研究人员将他们的方法称为“Shadow Evaluation”。智能体会收到一篇未发表论文中的核心研究问题。随后，花了数月时间研究同一问题的原作者，会像会议审稿人那样评估结果。由于这些结果还没有出现在网上，智能体就无法回退到训练数据。
研究团队与两篇 NeurIPS 2026 投稿论文的作者合作。第一篇论文研究如何通过语言模型的权重来调控其人格特征。第二篇论文开发了一种名为 TabPFN 的方法，用于检测表格预测模型何时遇到与训练数据差异显著的部署数据并导致准确率暴跌。
主要实验使用的是开启 Extra-High Reasoning 的 Claude Opus 4.8。每个智能体都获得了六天时间、3,000 美元的 API credits、GPU 预算，以及对虚拟机和开放网络的完全访问权限。该智能体在一个 scaffold 中运行；scaffold 是一种编排模型调用并提供工具的软件环境，允许模型把任务委派给子智能体，并监控自身资源使用情况。它还可以咨询外部 AI 审稿工具。
研究人员使用的是 OpenClaw，这是奥地利开发者 Peter Steinberger 构建的一个开源、供应商中立的智能体框架。Steinberger 今年早些时候加入了 OpenAI。核心智能体会启动子智能体和长时间运行的 GPU 任务，而 scaffold 会自动发送心跳，在任务完成时唤醒它，以便收集结果。
原作者以会议审稿人的身份审阅了完成的论文，并将两篇都拒掉了。其中一篇获得了“Strong Reject”。他们批评其数据和实验缺乏充分动机、行文晦涩难读，而且没有新的贡献。一位审稿人称其推理是一个“‘以例证作证明’的谬误”，并且“高度不科学”。另一位审稿人则称这些实验选择“怪异”，其结果显然是“事后选择”的产物。
反复出现的失败模式
对智能体日志的分析揭示了系统性的弱点。这些智能体缺乏对什么才算达到可发表研究标准的判断，虽然它们会生成看似合理的假设，却又基于规模很小、人工筛选或合成的数据集将其舍弃。
它们在创造性问题解决方面也失败了。当最初的假设被证伪时，这些智能体并没有寻找新的方向，而是缩小了已有主张的范围。它们内部的 AI 审核在十五轮修改中从未给出过一次 Accept，但这些智能体始终没有回应核心批评。
这些智能体也无法有效回溯。两者都在最初 10 小时内放弃了自己最雄心勃勃的研究目标。在 Personas 的运行中，智能体仅仅 5 小时就结束了探索，尽管为这一阶段预留了 36 到 48 小时。
资源意识也很差。两次运行结束时，API 预算都还不到一半。一个智能体在截止时间前 7 小时就宣布项目完成，而就在此后不久，它自己的审稿人又给出了一个 Reject。
这些智能体还存在指令漂移问题，在很长的上下文中逐渐遗忘明确指令。两篇论文都超过了长度限制，本应被 NeurIPS 直接拒稿。其中一篇论文在正文中完全没有可视化图表，而人类撰写的原始版本有 15 幅图。Meta AI 最近将一种密切相关的现象描述为“行为状态衰减”（behavioral state decay），即智能体会在早期识别到一项要求，但在修复一个无关 bug 时，后来又违反了这项要求。
工程能做成，研究判断却不行
这些智能体在没有人类帮助的情况下完成了所有工程工作。它们进行了文献检索，调试了 GPU 代码，完成了数百次实验和鲁棒性测试，并用 LaTeX 编排出了完整论文。整个过程中只需要三次人工干预：修复一个脚手架 bug、延长一次截止时间，以及要求为提高可读性而重写。
研究人员没有发现明显的 reward hacking。智能体并没有操纵结果或扭曲数据来追求更好的分数。事实上，它们做的恰恰相反：一开始提出雄心勃勃的主张，随后将其修正为负面结果。
为了检查结果是否只是软件设置造成的伪影，研究人员用 GPT-5.6 Sol 和 OpenAI 的 Codex scaffold 重复了一项实验。几乎所有相同的失败模式都再次出现。GPT-5.6 在两天多一点的时间里就烧掉了 3,000 美元预算，导致实验规模不足。
结果与实验室的说法相冲突
这些发现与领先 AI 实验室的说法形成对比。6 月，Anthropic 发布了一篇题为“When AI Builds Itself”的博客文章，分享了其内部研究加速的数据，并提出了在全球范围内协调开发暂停的想法。
OpenAI 则宣称，GPT-5.6 Sol 帮助进行了一个较小模型的后训练，并为研究人员节省了数周时间。该研究的作者指出，这项贡献甚至没有出现在 81 页的 system card 中。
更多推理能力确实提升了质量，初步测试表明，在没有推理的情况下表现更差。但研究人员怀疑，更多时间或更多算力不会在很大程度上改变结果。审稿人的异议针对的是实验选择的质量，而不是数量。
作者表示，前沿模型能够处理 AI 研究的工程部分，但“无法解决持续数周、开放式的 AI 研究问题”。这项研究只涵盖两篇论文，而且评审并未进行盲审——他们既知道自己的研究问题，也知道自己正在评估的是 AI 生成的作品。不过，这些结果明显偏弱，因此这些局限不太可能改变整体结论。研究团队已将专家评审、日志以及智能体仓库在线公开，供其他研究者自行判断。
为什么同行评审并不是一个好的衡量标准
此前关于自主研究成功的说法，几乎完全依赖于被接受的投稿，但仅仅被接受并不能说明研究质量如何。Sakana AI 的 The AI Scientist-v2 曾向 2025 年的 ICLR 一个 workshop 提交了三篇论文。
其中一篇以 6.33 的平均分被接受，勉强高于门槛，但在研究人员发现引用错误后，于评审结束后撤回。workshop 的录取率为 60% 到 70%，远高于主会议 20% 到 30% 的录取率。Shadow Evaluation 通过把评估交还给原作者，绕开了这个问题。
Sakana AI 此后于 2026 年 6 月成立了一个专门研究递归自我改进的研究实验室。该公司表示，后续版本的 AI Scientist 写出了一篇通过同行评审的论文。相关研究于 2026 年 3 月发表在《Nature》上。
对能够创造新知识的 AI 的追寻
随着这些实证结果出现，批评也在增加。Google DeepMind 的 Tom Zahavy 在立场论文《LLMs can't jump》中认为，语言模型缺乏创造真正新事物所需的认知机制。他写道，The AI Scientist 只是重新组合已有概念，而 DeepMind 的 AlphaEvolve 虽然擅长优化，但需要明确的错误信号才能发挥作用。
最近的数学突破乍看之下似乎与这种观点相矛盾，但实际上很可能并非如此。5 月，一种 OpenAI 推理模型推翻了 Paul Erdős 在 1946 年提出的一个关于等距几何的猜想。菲尔兹奖得主 Tim Gowers 将这一结果称为 AI 数学领域的一个“里程碑”。不久之后，Claude Mythos 用 Anthropic 工程师 Sholto Douglas 所称的“可爱、简单的证明”解决了同一个问题。随后，OpenAI 又确认了 Astra——一个新的模型家族——据称它解决了数学和理论计算机科学中 10 个长期悬而未决、该领域至少已停滞 10 年的开放问题。
但数学证明属于演绎，是从固定规则中推出必然结论，或者系统性地搜索庞大的解空间。这当然令人印象深刻，但这正是前沿模型被设计出来要做的事情。研究还需要溯因，即创造性地提出一个原因来解释某个出人意料的现象。提出新的研究问题、设计合适的实验，以及根据结果得出可靠结论，这些都是当今模型仍然做不到的事情。
来源与参考
收录于 2026-08-15