Qwen-Drive 1.0统一感知、问答与规划
The Decoder··作者 Jonathan Kemper
关键信息
Qwen-Drive 1.0 基于 Qwen3.5-4B，并新增两个模块：一个用于生成鸟瞰式空间地图，另一个 Planning Expert 用于预测未来运动。论文发现，只训练新增模块是不够的；底层视觉语言模型也必须参与空间任务训练，三维理解能力才会显著提升。
资讯摘要
阿里巴巴研究部门推出了 Qwen-Drive 1.0，作为迈向统一自动驾驶模型的初步尝试，目标是同时处理感知、交通问答和路线规划。该系统基于 Qwen3.5-4B 构建，并没有用专门的驾驶模型完全替代底座模型的通用能力，而是在其上增加了两个专用模块。第一个模块通过识别三维空间中的物体、判断占用区域并勾画道路布局，生成鸟瞰式的空间表示。第二个模块名为 Planning Expert，它利用模型内部信号来规划车辆未来的运动。研究人员把这个鸟瞰模块不仅当作地图生成器，也当作一个测量工具，用来观察模型究竟从图像中提取了多少空间信息。
实验表明，仅训练新增模块会让空间精度仍然很低，这说明会描述图像并不等于真正理解三维空间。只有把视觉语言模型本身也纳入空间任务训练后，性能才会显著提升。训练流程是分阶段进行的：先做感知，再做感知加问答，然后做路线规划，最后通过强化学习进一步优化行为。团队还整合了 24 个公开交通场景数据集，并借助另一个 AI 模型统一原本不一致的问题和答案格式，同时自己构造了用于解释刹车等动作原因的样本。仿真结果显示，重新训练后的系统将偏离道路的比例从 24% 降到了 12%，但文章也指出一个重要限制：它对刹车等动作给出的解释，并不总是和实际操作一致。
资讯正文
Qwen-Drive 1.0 会告诉你为什么要刹车，只是别指望它的解释和实际动作一致
要点
- 阿里巴巴的 Qwen-Drive 1.0 将空间感知、交通问答和路径规划整合到一个 AI 模型中。
- 两个用于 3D 映射和路径规划的模块在基础语言模型之上进行扩展，使 AI 能同时充当驾驶系统和座舱助手，而不会丢失已有知识。
- 重新训练将车辆偏离道路的比例从模拟中的 24% 降至 12%。但模型给出的解释并不总是和它做出的驾驶决策一致。
Qwen-Drive 1.0 在一个 AI 模型中处理三项任务：对环境进行空间感知、回答交通相关问题以及进行路径规划。研究人员证实，仅仅因为一个文本图像模型能够描述图片，它并不会自动理解三维空间。
现有的驾驶模型通常是在一个通用文本图像模型的基础上，用驾驶数据进行微调，主要是关于交通场景的问答对。根据论文，这种方法有两个弱点。主要依赖交通问答训练的模型，仍然无法可靠地识别距离、位置和空旷区域。而如果它在驾驶数据上变得过于专门化，就会通过研究人员所说的“灾难性遗忘”丢失原始训练中获得的广泛通用知识，而这种知识恰恰是在罕见、意外的交通情境中最重要的。阿里巴巴研究部门构建的这个模型，正是为了同时解决这两个问题。
一个独立模块会检查模型是否真正理解空间
Qwen-Drive 1.0 以 2 月发布的 Qwen3.5-4B 为基础，并增加了两个额外组件。第一个组件通过识别三维空间中的物体、判断哪些区域被占用以及勾勒道路布局，生成周围环境的俯视图。研究人员表示，它也充当了一种测量工具，用来揭示模型实际上从图像中提取了多少空间信息。
第二个组件 Planning Expert 使用模型内部数据来规划车辆未来的运动。当研究人员只训练新增组件而保持视觉语言模型不变时，空间准确率依然很低，这证实了能够详细描述图像的模型并不会自动掌握三维空间。只有当团队也对视觉语言模型本身进行空间任务训练时，性能才显著提升，这意味着对交通场景的空间理解能力必须被有意识地构建出来。
训练首先从感知模块开始，然后结合感知和问答，接着进行路径规划。最后一步通过强化学习来细化模型行为。对于视觉语言组件，团队整合了 24 个公开可用的交通场景数据集。这些数据集结构各不相同，有时还包含错误。一个 AI 模型对问题和答案进行了标准化，并将它们与原始数据对齐。团队还自行构建了示例，解释车辆为什么应该做出某个具体驾驶决策，比如哪个物体触发了刹车。
同一个模型同时服务于座舱和驾驶系统
在现代车辆中，信息娱乐系统和驾驶系统正逐渐汇聚到一个单一的计算单元上，而不是分别运行在两个独立的控制器上。作者认为，在这里，拿一般能力去换取纯粹的驾驶性能并没有帮助，因为座舱仍然需要自己的模型，以及用于对话或开放式问题等任务的额外算力。
根据论文，Qwen-Drive 1.0 在关于交通场景的问题上，得分远高于未做改动的基础模型 Qwen3.5-4B。最大的差距出现在模型必须解释因果关系的时候，比如为什么汽车应该刹车或转向。通用知识方面也表现稳健：该模型在驾驶之外的测试中几乎没有下降，在一些空间任务上的得分甚至略高。
从仿真到道路
在驾驶规划方面，团队在多个难度级别上测试了该模型，从简单预测一直到一个会随着时间推移让错误不断累积的模拟器。在模拟器中，经过奖励重新训练的版本将车辆偏离道路的比例从 24% 降至 12%。它的驾驶也更加谨慎，整体行驶距离更短。
不过，该模型的解释并不总能准确指向情境的真实原因。远处的红灯和一个孩子走到路上，分别对应非常不同的反应时间，而模型可能会把二者混为一谈。规划出的动作也并不总能与模型先前给出的推理一致。有些结果依赖于作者自行设计或重建的测试流程，因此单项指标并不能说明系统在真实世界那种混乱的驾驶环境中会如何表现。
Qwen 团队还使用其 HopChain 基准测量了这种空间理解上的差距。在这里，视觉语言模型会把物体分类错，把空间关系搞混，即便在图文基准上得分很高也是如此。灾难性遗忘也是一个老问题。2023 年，Google DeepMind 构建了 PaLM-E——一个用于语言、图像和机器人控制的模型——较小的变体在机器人训练后失去了大量语言能力。而最大版本有 5620 亿个参数，几乎没有损失。
将语言模型与驾驶功能结合，会打开新的攻击面。加州大学圣克鲁兹分校的研究人员曾在摄像头视野内放置一个带标签的标志，并诱骗 DriveLM 驾驶系统朝正在穿行的行人方向突然转向，尽管系统其实已经正确检测到了这些行人。与此同时，研究正转向 World Action Models，这类模型还会预测环境如何响应智能体自身的动作。
Qwen 团队正将该模型免费开放给研究社区，可在 Hugging Face、ModelScope 和 GitHub 上获取。
来源与参考
收录于 2026-09-08