World Labs将一个机器人任务扩展为数千种仿真
The Decoder··作者 Jonathan Kemper
关键信息
World Labs 表示，该引擎会把机器人、传感器、环境和任务示范重建成可交互的虚拟世界，然后改变光照、物体位置、物体数量、摩擦系数和相机角度。公司还将仿真与真实执行并行对比，测试了涉及刚体、可移动物体和可变形物体的任务，例如理线和把弹性线缆末端插入孔中。
资讯摘要
World Labs 是由 AI 先驱李飞飞创办的初创公司，它表示自己已经构建了一套用于机器人训练的仿真引擎，可以把一个真实世界任务扩展成数千种受控的虚拟变化。该系统名为 Real-to-Sim-to-Real，简称 R2S2R，目标是在不反复依赖昂贵实体机器测试的情况下训练和评估机器人控制模型。相关技术来自 SceniX，这家公司已于 7 月被 World Labs 收购。World Labs 认为，机器人部署的主要瓶颈不是模型架构，而是机器人为了在现实世界中稳定行动所需要的海量经验。由于真实世界数据既昂贵又难以控制，公司指出，甚至在线视频也无法系统覆盖所有对象、物理条件和失败状态。它的方法是把机器人、传感器、环境和任务示范重建成一个可交互的虚拟世界，要求它不仅外观相似，而且物理行为也一致。系统可以通过改变光照、物体位置、物体数量、周围环境、摩擦系数和相机角度，从一个任务生成数千种变化。
为了验证重建效果，World Labs 会让同一段动作序列在仿真和现实中并行执行，并比较观测、物体运动和最终结果。公司展示的例子包括刚体、可移动物体和可变形物体，例如理线、把弹性线缆末端插入孔中，以及双手打包盒子。World Labs 还表示，完全在仿真中训练的控制模型已经迁移到真实机器人上，并且在另外四个机器人平台上连续运行了 1 小时，没有人工介入。其测试平台之一是 ALOHA，这是斯坦福的开源双臂系统，通过两只较小的控制臂进行遥操作。公司在双臂交接立方体的测试中称，仿真不仅复现了接近成功的边缘案例，也复现了失败尝试；在不同模型类型（如 GR00T N1.6 和 π₀.₅）以及不同训练阶段之间，仿真和现实中的排名大体一致。World Labs 表示，每个检查点都通过 2000 次仿真运行和 100 次真实运行进行评估，这让团队能够先在仿真中筛掉较弱版本，再把昂贵的硬件测试留给更有前景的候选模型。
资讯正文
World Labs 将一个真实世界的机器人任务转化为数千种模拟变体用于训练
由 AI 先驱李飞飞创立的初创公司 World Labs 发布了一款仿真引擎，能够在完全虚拟的环境中训练机器人控制系统。随后，这些模型可以在真实硬件上稳定运行数小时。
该公司的“Real-to-Sim-to-Real”（R2S2R）引擎会把真实世界中的机器人任务转化为用于训练和评估控制模型的模拟场景，从而省去在实际硬件上进行昂贵测试的环节。这项技术来自 SceniX——World Labs 在 7 月收购的一家初创公司。
World Labs 表示，机器人部署的主要瓶颈并不是模型架构，而是机器人为了可靠运行所需的庞大经验量。真实世界数据成本高且难以控制，即便是在线视频，也无法系统性覆盖各种物体、物理条件以及故障状态的全部范围。
一个真实世界任务变成数千种受控变体
该引擎会捕捉机器人、传感器、环境以及任务演示，然后把它们重建为一个交互式虚拟世界；这个世界不仅外观与原始场景相似，在物理行为上也与之相同。World Labs 通过将生成式世界模型与面向任务的机器人仿真相结合，实现了这一点。
从单个真实世界任务出发，系统通过改变光照、物体位置和数量、周围环境、摩擦力等物理属性以及相机角度，生成数千种变体。为了检验准确性，World Labs 会将同一动作序列在仿真和现实中并排运行，并比较观测结果、物体运动和最终结果。
展示的示例包括刚性物体、可移动物体和可变形物体，例如线缆布线、将弹性线缆末端插入孔中，以及用双手打包一个盒子。
从未在真实硬件上训练过的控制模型
控制模型先在仿真中训练，然后迁移到真实机器人上。其中一个测试平台是 ALOHA，这是一种由斯坦福大学推出的开源双臂设计，通过两只更小的控制臂进行遥操作。该系统的成本只是商用系统的一小部分，而且所有蓝图都公开，因此 ALOHA 已成为机器人研究中的首选参考平台。
据 World Labs 介绍，这些模型分别在另外四个机器人平台上连续运行了一小时，期间没有任何人工干预。任务范围从用双手把电源线缠绕在冰箱上，到精确重新摆放试管，再到从一堆密集杂乱的物体中分离出记号笔或铅笔等细长物体。
公司表示，该系统并不绑定某一种特定的控制模型或机器人类型，因此，一旦某个世界被重建一次，之后就可以被重复用于新的模型和不同的机器人。
仿真可以在策略评估中替代硬件
World Labs 认为，机器人开发之所以远远落后于语言模型，是因为评估控制模型过去主要依赖真实硬件测试。一个足够好的仿真并不需要达到与现实完全相同的成功率。关键在于它是否能回答同样的问题：模型在哪里失败、哪个版本更好，以及这些改进能否迁移到物理机器人上。
团队在 ALOHA 机器人的双臂之间进行了一次双手传递立方体的实验来测试这一点。据 World Labs 介绍，仿真复现了机器人勉强用边缘抓住立方体的临界情况，以及相应的失败尝试。在不同模型类型中，包括 GR00T N1.6 和 π₀.₅，以及不同训练阶段，模型在仿真和现实中的排名基本保持一致。对于已知的立方体位置和此前未见过的位置，这一点都成立。每个检查点都通过 2,000 次仿真运行和 100 次真实运行进行了评估。
开发团队可以在仿真中筛掉较弱的模型版本，把昂贵的硬件测试留给最有希望的候选者。
仿真器处于 World Labs 更广泛战略的核心
World Labs 将这些结果与其世界模型分类体系联系起来。在这一框架下，仿真器是核心部分，因为它把世界变成了软件代理可以行动、学习和接受测试的场所。公司还将其与自动驾驶相类比，某些成功的 L3 和 L4 系统会在真实数据和仿真数据的混合上进行训练。
World Labs 对其长期目标的表述是：要提升机器人的智能，就必须扩展它们学习的世界。与此同时，这些结果能在多大程度上迁移到更复杂的环境、其他类型的机器人，以及不那么受控的日常场景，仍然是一个悬而未决的问题。
World Labs 由 AI 研究员李飞飞于 2024 年创立，旨在构建具有空间智能、能够理解三维物理世界的模型。早期系统可以根据单张照片生成可行走的 3D 环境。最近，该公司筹集了 10 亿美元风险投资，以将其世界模型扩展到机器人和科学领域。R2S2R 引擎是这一愿景在机器人领域的第一个具体应用。
这项研究也进一步推动了关于世界模型在机器人学中应扮演何种角色的更广泛讨论。一个国际研究团队最近试图厘清世界模型究竟是什么，给出统一定义，并在世界模型与纯视频生成器之间划出明确界线。
相关领域还有 World Action Models，它把对近未来的预测直接与控制指令联系起来。这与 World Labs 的方法不同，后者将仿真和策略保持分离。另一种名为 Orca 的方法来自中国，它让机器人仅通过观看视频来学习任务，在训练期间不需要任何真实运动数据。
AI News Without the Hype – 由人类精选
订阅 THE DECODER，可获得无广告阅读、每周 AI 新闻简报、我们每年 6 次发布的独家“AI Radar”前沿报告、完整档案访问权限以及评论区访问权限。
来源与参考
收录于 2026-08-16