Google DeepMind 发布 Gemini Robotics ER 2

关键信息

Google 表示，ER 2 相比 ER 1.6 有明显升级：它可以通过连续视频流更好地追踪任务进度，并在真实 VLA、仿真 VLA 和人类远程操控三种模式下表现出更强的工具编排能力。它还集成了 Gemini Live API 以支持低延迟双向流式交互，并展示了一个基于 Boston Dynamics Spot 的演示，用导航和机械臂 API 协同完成取物任务。

资讯摘要

Google DeepMind 推出了 Gemini Robotics ER 2，并将其称为目前最强的机器人具身推理模型。公司表示，机器人要在真实日常环境中提供帮助，不仅需要空间理解能力，还必须能够快速推理，并让决策节奏与物理世界的实时性保持一致。ER 2 被定位为机器人的高层“大脑”，可以与人对话、理解物理环境并规划多步任务。完成规划后，它会把动作执行交给更底层的 vision-language-action（VLA）模型。它还可以原生调用工具，包括 Google Search 和用户自定义函数，同时在执行动作的过程中继续思考下一步。

相比 ER 1.6，Google 认为 ER 2 在连续视频观察、任务进度跟踪、错误恢复和判断何时进入下一步方面都有提升。此次更新还加入了多机器人协作能力，使多个机器人可以在共享空间中共同完成单个机器人难以独立完成的复杂流程。开发者现在可以通过 Gemini API 和 Google AI Studio 使用该模型，并且它在 Gemini Enterprise Agent Platform 中处于私有预览阶段。Google 还表示，ER 2 在真实 VLA、仿真 VLA 和人类远程操控三种模式下的工具编排能力都有提升，并且集成了 Gemini Live API，以支持低延迟的双向流式交互。为了展示效果，Google 还演示了一个基于 Boston Dynamics Spot 的案例：ER 2 负责协调导航和机械臂 API，让机器人根据自然语言指令去取物品。

资讯正文

推出 Gemini Robotics ER 2

对于机器人要在日常环境中协助人类来说，准确的空间推理还不够。机器人还必须思考迅速，以与物理世界实时速度相匹配的节奏来安排它们的决策和推理。

这就是为什么我们今天推出 Gemini Robotics ER 2——我们面向机器人最强大的“具身推理”模型。可以把 Gemini Robotics ER 2 看作机器人的高层大脑。它让机器人能够与人类聊天、理解物理世界，并规划多步骤任务。随后，它会将运动执行交给任何给定的低层视觉-语言-动作（VLA）模型。Gemini Robotics ER 2 还可以原生调用诸如 Google Search 之类的工具来查找信息，或调用任何其他用户定义的函数。Gemini Robotics ER 2 的设计使机器人能够在同时执行动作的过程中，思考下一步该做什么。

与 Gemini Robotics ER 1.6 相比，Gemini Robotics ER 2 代表了显著升级。通过观察连续视频流，机器人现在可以跟踪自身进度，在出错时进行调整，并且确切知道何时进入下一步。我们还引入了多机器人协作，使机器人能够在共享空间中协同工作，完成单个机器人无法独自完成的复杂工作流。

Gemini Robotics ER 2 现已通过 Gemini API、Google AI Studio 面向开发者公开提供，并已在 Gemini Enterprise Agent Platform 上进入私有预览。为帮助你快速上手，我们分享了如何配置该模型并通过提示词驱动它，以支持更有用的实体 AI 任务的示例。

推进实体智能体能力

现实世界中的大多数任务都很复杂，且需要多个步骤才能完成。Gemini Robotics ER 2 是一个实体智能体，它为机器人编排各个步骤，使其能够自我纠错，并泛化到更具新颖性的情境中。为了构建智能体式架构，开发者可以将低层控制接口——例如视觉-语言-动作（VLA）模型或导航 API——声明为工具，并将多模态视频、音频或文本直接流式输入模型。

Gemini Robotics ER 2 改进了这种工具编排工作流。我们可以在仿真中的机器人、使用真实世界机器人控制，甚至与远程控制机器人的人类配合，对其性能进行评估。

在三种控制模式下，Gemini Robotics ER 2 在工具编排方面都始终优于 ER 1.6：真实 VLA、仿真 VLA 和人类远程操控。

在机器人领域，高层推理取决于执行速度。Gemini Robotics ER 2 集成到了 Gemini Live API 中，使用针对低延迟任务优化的双向流式传输端点。其结果是实现了流畅的编排：Gemini Robotics ER 2 可指挥动作模型和机器人 API 完成多步骤任务，而不会出现生硬的“停下来思考”式停顿。

为说明这一点，我们与 Boston Dynamics 的合作伙伴基于 Spot 打造了一个演示。我们使用 Gemini Robotics ER 2 来编排 Spot 的各项 API，例如导航和机械臂移动，从而创建出一个能够为你取物的交互式机器人。

在自然语言指令下，搭载 Gemini Robotics ER 2 的 Boston Dynamics Spot 取来了一份爆米花零食。

该代码以及其他示例已在 GitHub 上提供。

为稳健完成任务解锁时间智能

机器人学最棘手的挑战之一，是判断一项任务何时完成。Gemini Robotics ER 2 在视频理解和进度跟踪方面实现了飞跃式提升，能够在切换到下一项任务之前，验证诸如拧紧灯泡或系紧垃圾袋之类的复杂任务是否已按规范完成。

在这次更新中，我们在任务进度理解的两个基础能力上取得了进展：进度分类和关键时刻定位。

连续进度分类

进度分类指的是机器人跟踪任务完成进展的能力。在我们的评估中，我们将视频流中的每一帧划分为五个进度等级（0-20%、20-40%、40-60%、60-80%、80-100%）。通过量化任务进度，Gemini Robotics ER 2 让机器人具备实时态势感知能力，并允许它们即时调整动作，或在不重启整个工作流的情况下重试失败步骤。

Gemini Robotics ER 2 在进度分类任务上的准确率达到 57.4%，优于上一代模型和竞争性的前沿模型。

精确关键时刻定位

关键时刻定位衡量的是模型识别关键事件发生的准确视频帧的能力（例如，何时停止将咖啡倒入杯中）。Gemini Robotics ER 2 在关键时刻定位性能上取得了显著提升，使机器人能够精确地在任务之间切换、验证成功并提出纠正建议。

在关键时刻定位任务上，Gemini Robotics ER 2 的准确率达到 91.3%，平均绝对距离为 0.96 秒。它与更大规模的模型类别表现接近，但却以远低于它们的计算成本和 4 倍的执行速度实现了这种精度——而这正是现实世界中安全操作物理机器人所真正需要的亚秒级延迟。

多机器人协作

没有任何一台机器人能够胜任所有任务——轮式巡检机器人擅长室内环境，而人形机器人则可能更擅长不平整地形。Gemini Robotics 2 支持多机器人协作，使不同机器能够通过共享的语义理解进行通信，从而完成接力并完成复杂任务。点击此处查看 Gemini Robotics ER 2 如何让 Apptronik 的 Apollo 2 和 Franka F3 Duo 协同合作。

提升通用空间智能

Gemini Robotics ER 2 在我们的核心空间推理能力上取得进展，这一点通过三项基准得到衡量：

- 成功/失败检测：现在可直接处理原始视频流，而不再依赖静态快照，以便捕捉执行过程中的失败，如洒漏、滑脱或对齐偏差。

- 通用仪表读数：不再局限于圆形表盘和视镜，还扩展到数字显示屏、线性刻度、直尺和液体温度计。我们在 10 种不同类型的仪表上进行了测试。

- 增强空间 VQA：通过 Gemini 在多模态理解方面的进展，提升视觉问答能力。

Gemini Robotics ER 2 在所有核心能力上始终取得最高准确率，其中亮点包括成功检测（图像/视频）、问答（ERQA）以及通用仪表读数。

推进具身智能的安全性

Gemini Robotics ER 2 是我们最安全的模型，在 Safety Instruction Following 和 Human Proximity 基准测试上取得了显著提升。这些测试评估模型在推理任务中遵守物理约束的能力，以及其为检测人类而进行空间感知的能力。我们发现，当有人靠近时，Gemini Robotics ER 2 能够成功使人形机器人停止，并且只有在区域清空后才会自主恢复工作。为推进物理智能体的安全性，我们正在推出一个基准，用于评估基础模型作为安全 VLA 编排器的能力，具体通过测试其执行安全约束、监测环境、评估物理可行性以及寻求人类澄清的能力来实现。详情请参见我们的安全技术报告。

Gemini Robotics ER 2 在 Safety Instruction Following 和 Human Proximity 基准测试上，优于 ER 1.6 和其他前沿模型。

展望未来，我们的计划是将这些模型推动到更复杂的任务上，以加速有用机器人的开发，并支持机器人社区。

来源与参考

1. 原始链接
2. Introducing Gemini Robotics ER 2