WorldReasonBench 揭示视频 AI 的推理缺口

关键信息

WorldReasonBench 大约包含 400 个测试用例，覆盖四类任务：世界知识、以人为中心的场景、逻辑推理以及基于信息的推理。论文称评分采用两阶段的过程感知方法，且研究结果显示逻辑推理是所有测试模型中最难的一类，基于信息的推理也同样很困难。

资讯摘要

清华大学推出了新的基准 WorldReasonBench，用来测试 AI 视频生成器是否不仅能生成好看的画面，还能在续写场景时保持物理、社会、逻辑和信息上的一致性。文章强调，这个基准关注的不是清晰度或视觉逼真度，而是模型是否真正理解场景会如何发展。举例来说，如果给模型一张树枝上的苹果图片并要求它把苹果掉下来，视频可能看起来很顺滑、质感很真实，但却在物理上完全不对。传统的视觉质量指标仍可能给这样的结果高分，而这正是 WorldReasonBench 想要暴露的问题。该基准大约包含 400 个测试用例，覆盖世界知识、以人为中心的场景、逻辑推理和基于信息的推理四个方向。研究团队还发布了 WorldRewardBench，这是一个约 6000 组视频比较组成的数据集，由训练过的标注员进行排序。

评分方法分为两步：先通过过程感知的结构化问题检查视频是否以合理方式到达正确结果，再从推理质量、时间一致性和视觉美感三个方面进行评估。结果显示，商业模型整体领先，但逻辑推理是所有模型最薄弱的类别，基于信息的推理也很难，尤其是在需要精确保留文字、数字或物理上连贯的转换时。研究还发现，当正确答案来自动态过程而不是静态画面时，模型表现更好；而开源模型在提示词写得更详细、步骤更清楚时提升最大。为了验证方法有效性，研究人员把自己的指标与人类偏好排序进行对比，发现该指标与人工判断高度一致，而且明显优于传统的成对视频 AI 裁判。文章最后指出，视频生成虽然在分辨率、时长和可控性上进步很快，但距离真正可靠的世界模型仍有很大差距，未来更需要的是因果机制理解和跨时间的信息一致性，而不只是更漂亮的画面。

资讯正文

新的基准测试证实，AI 视频生成器看起来惊艳，但仍然无法理解世界

像 Sora 2、Seedance 2.0 和 Veo 3.1 这样的现代视频生成器，正在生成越来越令人印象深刻的短片。但清华大学推出的一项新基准测试再次证实了一点：视觉质量和真正的世界理解是两回事。

WorldReasonBench 并不关注图像质量，而是测试一个模型能否接着给定的起始场景，生成一个在物理、社会、逻辑和信息层面都说得通的延续。

不妨看一个基本测试案例：给生成器一张苹果挂在树枝上的图片，并要求它把苹果掉下来。结果可能看起来很棒——运动平滑、纹理逼真、光照漂亮——但物理逻辑却可能完全错了。苹果可能会向上飞、像气球一样爆开，或者不是弧线下落，而是直线掉下。标准质量指标仍然会因为这段视频的“真实感”而给它高分。WorldReasonBench 要捕捉的，正是这种差距。

WorldReasonBench 包含大约 400 个测试案例，分为四个领域：世界知识（物理、天气、文化规范）、以人为中心的场景（物体处理、社会互动）、逻辑推理（数学、几何、科学实验）以及基于信息的推理（读取数据和图表）。

评分分两阶段进行。首先，采用一种过程感知的方法，通过结构化问题检查视频是否以合理方式到达了正确的最终状态。随后第二轮会对推理质量、时间一致性和视觉美感进行评分。与该基准一起，团队还发布了 WorldRewardBench，这是一个包含约 6,000 组视频对比的数据集，由经过训练的标注员进行排序。

商业模型以明显优势领先，但逻辑难倒了所有人

比排名更重要的是一个共同的弱点：在所有测试模型中，逻辑推理都是最难的类别。即便表现最好的商用系统，在这一项上的得分也远低于其总体平均水平，而大多数开源模型几乎完全无法通过。基于信息的推理是第二难的领域，尤其是在任务要求发生物理上合理的过渡，或者必须精确保留文本和数字时。

这项研究还引入了一项指标，用来追踪有多少正确答案来自动态的、基于过程的阶段，而不是静态快照。商用模型在这项指标上的得分高得多，这指出了开源模型真正的短板所在：问题不在于它们“看起来”如何，而在于它们对因果关系的理解。

当模型获得更细致的提示，明确要求一步一步说明应该发生什么时，开源生成器提升最大。它们显然比商用竞品更依赖提示词质量，而这本身也可能是商用模型推理能力更强的一个侧面表现。

自动评分与人工判断一致

为验证他们的方法，团队将自己的指标与人工视频对比排名进行了比较。核心指标与人工判断高度一致，并且明显优于传统的 AI 裁判——后者通常通过成对比较视频来进行评判。

这一结论与不断增长的证据相吻合：尽管在分辨率、长度和可控性方面都取得了实质性进展，但从像素生成器迈向可靠的世界模型，这一步仍然没有发生。要实现这一目标，可能更少依赖视觉上的精致程度，而更取决于对因果机制的更好理解，以及长期保持信息一致性的能力。该基准、数据和代码都可以在 GitHub 上获取。

一个国际研究团队最近也得出了类似结论：Sora 2 和 Veo 3.1 在推理任务上的表现远低于人类水平。视频生成器是否真的能算作“世界模型”，在 AI 研究领域仍是一个有争议的问题。Meta 的 Yann LeCun 认为像 Sora 这样的系统是一条死路，而 DeepMind 首席执行官 Demis Hassabis 则认为 Google 的 Veo 是迈向世界模型的一步。OpenAI 关闭了 Sora 作为商业视频生成器的业务，但保留了团队，转而专注于世界模型研究。一个名为 OpenWorldLib 的提议定义则明确将纯文本到视频模型排除在这一类别之外。

来源与参考

1. 原始链接
2. New benchmark confirms AI video generators look stunning but still can't reason about the world