2月7日，Alphabet 旗下的自动驾驶汽车公司 Waymo，推出了最新世界模型 Waymo World Model，其基于 DeepMind 的 Genie 3 构建，在大规模、超真实自动驾驶仿真方面树立了全新的行业标杆。
DeepMind CEO、诺奖得主 Demis Hassabis 也转推分享说这个基于 Genie 3 模拟的用例「超酷」。
Waymo World Model 建立在 Google DeepMind 的通用世界模型 Genie?3 之上，能够生成高度逼真且可交互的 3D 环境，并针对自动驾驶的严格需求进行了专业化适配。凭借 Genie 丰富的世界知识，它可以模拟极为罕见的事件 —— 从龙卷风到偶遇大象 —— 这些在现实中几乎无法大规模复现。
同时，模型架构高度可控，工程师可通过简单的语言提示、驾驶输入或场景布局快速调整仿真内容。更重要的是，Waymo World Model 支持生成高保真、多传感器数据，包括摄像头图像和激光雷达点云，为自动驾驶系统提供全面、逼真的训练与测试环境。
Waymo 表示，Waymo Driver 已累计完成近 2 亿英里的完全自动驾驶行驶，成为美国多个主要城市运行体系中的一部分，并持续提升道路安全性。但公众往往看不到的是，在真正驶上公共道路之前，这套系统早已在虚拟世界中行驶了数十亿英里，反复演练各种复杂、罕见甚至极端的交通场景。Waymo World Model 正是支撑这一能力的核心基础设施，使自动驾驶系统能够在现实世界之外，提前掌握应对真实世界的能力。
Waymo Driver 避开逆向行驶车辆的仿真演示。该仿真首先重现了真实事件，然后平滑过渡，使用 Waymo World Model 实时高效生成的摄像头图像和激光雷达点云进行模拟。
涌现的多模态世界知识
自动驾驶行业中的大多数仿真模型，都是仅基于自身采集的道路数据从零开始训练的。这种方式意味着系统只能从有限的真实经验中学习。相比之下，Genie 3 在极其庞大且多样化的视频数据上进行预训练，由此获得了强大的世界知识，从而可以探索车队从未直接经历过的场景。
通过专门设计的后训练流程，Waymo 将这些庞大的 2D 视频世界知识迁移到了 Waymo 硬件套独有的 3D 激光雷达输出中。摄像头擅长呈现丰富的视觉细节，而激光雷达则提供了提供了宝贵的互补信号，如精确的深度信息。Waymo 世界模型可以跨多种传感器模态生成几乎任何场景 —— 从日常驾驶到极为罕见的「长尾」场景。
Waymo 世界模型提供了强大的模拟可控性。而这仰赖三种主要机制：驾驶行为控制、场景布局控制和语言控制。
驾驶行为控制能够创造一个响应迅速的仿真器，遵循特定的驾驶输入。这使得我们能够模拟「如果…… 会怎样」的反事实事件，例如在特定情况下，Waymo 驾驶系统是否可以更自信地安全驾驶，而不是让行。
反事实驾驶。下面 Waymo 展示了在过往记录驾驶的原始路径或全新路径下的仿真结果。虽然纯重建式仿真方法（例如 3D 高斯溅射，或 3DGS）在模拟路径与原驾驶路径差异过大时，由于缺少观测数据而容易出现视觉失真，但完全基于学习的 Waymo 世界模型凭借其强大的生成能力，仍能保持良好的真实感和一致性。
场景布局控制允许自定义道路布局、交通信号灯状态以及其他道路使用者的行为。通过这种方式，可以通过选择性放置其他道路使用者，或对道路布局应用自定义变异，来创建定制场景。
场景布局条件控制遵从
语言控制是 Waymo 世界模型最灵活的工具，可以用来调节一天中的时间、天气状况，甚至生成完全合成的场景（例如前文展示的长尾场景）。
行车记录视频的转换
在一次风景优美的行程中，人们常会用手机或行车记录仪记录沿途视频，可能拍到堆积的雪墙，或是夕阳下的高速公路。Waymo 世界模型可以将这类视频，以及任何普通相机拍摄的视频，转换为多模态仿真，呈现 Waymo Driver 在同一场景下的「所见」。Waymo 表示，由于仿真直接来源于真实影像，这一过程在真实感和事实准确性上达到了最高水平。
可扩展推理
一些需要模拟的场景可能需要较长时间才能完整呈现，例如在狭窄车道中通行的情况。长时间仿真通常更具挑战性，因为随着仿真时长增加，计算负担加重，同时保持稳定高质量也更困难。不过，通过 Waymo World Model 的高效变体，可以在显著降低计算量的同时模拟更长的场景，并保持高真实感与高保真度，从而支持大规模仿真。
{{item.content}}