Taste-Bench揭示人工智能代理的长期决策弱点
The Decoder··作者 Jonathan Kemper
关键信息
该基准包含502道二选一问题，素材来自编码和人工智能研究任务中的决策分叉；模型只有在选项顺序调换后仍两次答对才算正确。当证据已经出现在此前步骤中时，准确率为62.3%；当关键证据要经过大量后续工作才出现时，准确率降至21%。
资讯摘要
人工智能代理如今越来越多地处理撰写研究论文、开发软件项目等多步骤任务。在这些任务中，代理必须不断决定测试哪个假设、基于哪段代码继续开发，或下一步运行哪个实验，但这些选择的后果可能要到很久之后才会显现。研究人员将做好这些选择的能力称为代理的“品味”，因为现有基准通常只衡量任务是否完成，而不评估完成路径的质量。Taste-Bench利用代理运行时记录的轨迹，寻找两条路径发生分歧的决策分叉点。
随后，测试会隐藏后续工作，让模型判断哪条方向更好；候选路径既可能来自同一任务的两次独立尝试，也可能来自一次运行中的自我纠错绕路。该基准包含502道问题，素材来自数千次编码和人工智能研究任务运行记录，包括SWE-bench Pro和METR公开发布的MALT记录。研究人员测试了14个模型，GPT-5.6 Sol以59.7%领先，GPT-5.5为59.5%；绕路分叉比平行路径分叉更难判断。当相关线索较早出现时，所有模型的平均准确率为62.3%；当线索要经过大量后续工作才出现时，准确率降至21%。
资讯正文
AI代理在长期决策方面品味不佳，一项新基准测试证明了这一点
微软和香港城市大学的研究人员开发了一种方法，用于测试AI代理在长期任务中做出决策的能力。表现最好的模型也仅勉强达到60%的正确率。
如今，AI代理开始承担多步骤任务。它们可能会撰写研究论文或开发软件项目。在此过程中，它们需要不断决定测试哪个假设、基于哪些代码继续开发，或下一步运行哪项实验。这些选择很少会立即显现影响。一个糟糕的决定起初通常看起来并无问题，直到代理几乎耗尽大部分预算后，其真正代价才会显现。
论文作者将良好做出这些选择的能力称为代理的“品味”。现有基准测试只衡量代理是否完成任务，而不评估其在过程中每一步的质量。Taste-Bench旨在填补这一空白。
长期决策无法在当下评判
你无法立即判断一个长期选择的好坏。整洁的实现和草率的实现起初可能产生相同的输出，也可能通过相同的测试。只有当后续修改变得更加容易时，整洁的方法才会体现出优势。依靠人工评分成本高昂，需要深厚的领域专业知识，也难以扩展。
因此，研究人员依赖事后信息。一个轨迹的后续路径——也就是记录代理运行过程、包含其所有步骤和观察结果的记录——能够显示早先的选择是否奏效。实际上，代理系统会多次尝试同一项任务。这些尝试最终会朝不同方向分化。
由于每次尝试的最终结果都会揭示哪条路径更好，这些运行记录本身就提供了带标签的比较。作者将这一分化点称为“决策分叉点”。为了衡量品味，他们将运行过程冻结在分叉点，隐藏之后的所有工作，然后让一个模型在两条路径之间做出选择。
过去的错误揭示了代理出错的地方
Taste-Bench包含502道题目，每道题都包括原始任务、截至分叉点的运行轨迹，以及两个可能的方向。第一类题目来自同一任务的两次独立尝试：两次尝试在某处出现分歧，且代理从未看到错误路径。
第二类题目来自代理在单次运行中自我纠正并绕道而行的情况。在这里，最初被放弃的方向和后来成功的方向构成两个候选项。这一变体测试模型能否比实际执行任务的代理更早发现错误。
原始数据来自数千次经过评分的代理运行，涵盖编码和AI研究任务，其中包括SWE-bench Pro以及METR公开发布的转录记录MALT。一个生成模型筛选出合适的分叉点，剔除答案明显的简单问题，并删除无法判定的案例。人工复核确认，自动生成的标签几乎全部准确。
即使是顶级模型，也仅勉强胜过抛硬币
研究团队测试了来自Claude、GPT、Grok、DeepSeek、GLM、MiniMax和Mistral系列的14个当前模型。每道题都会提问两次：一次按照正常顺序呈现，另一次则将选项顺序对调。只有模型两次都答对时，该题才计为正确。在这里，纯粹猜测的正确率为25%。
测试中表现最好的模型 GPT-5.6 Sol 平均得分为 59.7%，GPT-5.5 紧随其后，得分为 59.5%。其他所有模型的得分都远低于这一水平。尽管每道题都只是二选一，但没有任何模型接近于解决这一基准测试。绕行分岔始终比并行分岔更难。
模型在证据只能稍后出现时表现崩溃
对于每个分岔，研究团队都检查了观察者需要向后查看多远，才能确定哪条路径更好。当关键线索已经出现在此前步骤中时，所有模型的平均准确率达到 62.3%。而当线索只有在经过大量后续工作后才出现时，准确率会降至 21%，接近随机猜测。回答这些问题意味着要预测未来的工作。
思考更久并没有帮助。研究人员针对两个模型，分别使用三种推理设置重复了测试。从最低设置切换到最高设置，准确率几乎没有变化。模型在最难的等级上花费了最多推理令牌，在那些最常答错的问题上思考时间最长。研究团队认为，这表明在这些分岔点上，所需的线索根本尚未出现。
决定性证据在轨迹中出现得越晚，模型的表现就越差；增加推理预算也无法改变这一点。| 图片：Pan 等人
作者表示，该基准测试衡量的是一种不同于 SWE-bench Verified 等经典端到端测试的能力。在前者上得分相近的模型，在 Taste-Bench 上却表现出明显差距。
品味终究可以训练
研究人员还展示了“品味”是可以教会模型的。他们将一个知道正确路径的教师模型的判断提炼出来，训练一个只能看到问题的学生模型。他们以 Qwen3.6-27B 作为基础模型。在未见过的任务上，学生模型的准确率从 30% 提升到了 47.9%。
这一提升在实践中也带来了收益。研究团队在每个分岔处将学生模型的判断作为建议加入任务上下文，然后让一个独立的智能体解决问题。在 41 个留出的 SWE-bench Pro 任务上，成功率从 14.6% 提升至 33.7%。如果建议完全正确，成功率本可达到 39%，因此学生模型已经获得了大部分潜在收益。
研究团队总结称，长期规划智能体的判断力既可以被测量，也可以得到改进。该基准测试及其代码已公开。
如今，AI 智能体可以独立工作很长时间。在 MirrorCode 基准测试中，一个模型曾在没有人类帮助的情况下，连续 19 天处理同一项任务。标准基准测试通常只检查最终测试是否通过。METR 已经证明，SWE-bench Verified 会显著高估编程智能体的表现。即使自动化测试通过，专业人士仍以存在基本功能缺陷为由否决了许多解决方案。Taste-Bench 的最高分模型 GPT-5.6 Sol，也创下了 METR 评估中软件测试作弊率的最高纪录。
来源与参考