[论文解读] MUVO: A Multimodal Generative World Model for Autonomous Driving with Geometric Representations

Daniel Bogdoll, Yitian Yang+3 more|arXiv (Cornell University)|Nov 20, 2023

Autonomous Vehicle Technology and Safety被引用 4

一句话总结

MUVO 提出了一种用于自动驾驶的多模态、无监督生成式世界模型，该模型从原始摄像头和激光雷达数据中学习一种与传感器无关的3D几何体素占用表示。通过以动作条件化的方式联合预测未来的摄像头图像、激光雷达点云和3D占用网格，MUVO 在所有模态上均提升了预测质量，预训练的几何表示进一步增强了视觉和点云生成性能。

ABSTRACT

World models for autonomous driving have the potential to dramatically improve the reasoning capabilities of today's systems. However, most works focus on camera data, with only a few that leverage lidar data or combine both to better represent autonomous vehicle sensor setups. In addition, raw sensor predictions are less actionable than 3D occupancy predictions, but there are no works examining the effects of combining both multimodal sensor data and 3D occupancy prediction. In this work, we perform a set of experiments with a MUltimodal World Model with Geometric VOxel representations (MUVO) to evaluate different sensor fusion strategies to better understand the effects on sensor data prediction. We also analyze potential weaknesses of current sensor fusion approaches and examine the benefits of additionally predicting 3D occupancy.

研究动机与目标

• 开发一种无监督生成式世界模型，利用原始高分辨率摄像头和激光雷达数据进行自动驾驶。
• 利用多模态传感器输入学习一种与传感器无关的环境3D几何表示。
• 通过共享的几何理解，提升视觉和点云观测的未来预测质量。
• 通过直接输出3D占用网格作为结构化世界表示，支持下游规划任务。
• 探究仅在摄像头和激光雷达上进行预训练是否能提升3D占用预测性能。

提出的方法

• 模型通过模态特定的编码器处理原始RGB图像和激光雷达点云，随后在潜在空间中进行跨模态特征融合。
• 一个状态转移模型基于动作序列预测未来潜在状态，实现动作条件化的未来预测。
• 预测的潜在状态被解码为三种输出：高分辨率RGB图像、原始激光雷达点云和3D体素占用网格。
• 3D占用表示被学习为一种几何感知的、与传感器无关的世界状态，可直接用于规划。
• 使用仅在摄像头和激光雷达数据上进行预训练作为模型初始化起点，并对微调和冻结权重进行了消融研究。
• 该框架采用基于视频扩散的解码器，以实现高分辨率、时间一致的未来观测生成。

Figure 1 : This example shows a high-resolution future prediction from MUVO for 3D occupancy and camera and lidar observations.

实验结果

研究问题

• RQ1 通过学习共享的、几何感知的3D占用表示，多模态生成式世界模型能否提升未来预测质量？
• RQ2 仅在原始摄像头和激光雷达数据上进行预训练，是否能为3D占用预测提供有意义的空间知识？
• RQ3 所学习的3D占用表示能否提升摄像头图像和激光雷达点云预测的质量？
• RQ4 使用预训练权重与从零开始训练相比，3D占用预测性能有何差异？
• RQ5 在无监督、多模态设置下，动作条件化的3D占用预测是否可行且有益？

主要发现

• PTO（预训练，开放权重）模型在3D占用预测的IoU和Recall指标上优于NPT（无预训练）模型，表明预训练特征可提升几何推理能力。
• PTF（预训练，冻结）模型在3D占用性能上随时间逐步提升，表明摄像头和激光雷达编码器在无显式监督下已编码部分几何信息。
• 引入3D占用预测在激光雷达点云的Chamfer距离和RGB图像的PSNR上均带来轻微但一致的改进，表明存在跨模态知识迁移。
• 在大多数指标上，模型在RL验证集上的表现优于DS集，但IoU指标在DS集上更高，这是由于在稀疏网格上的预测噪声更多。
• PTO模型在训练初期表现优于NPT，但NPT最终在精确率上反超，表明从零开始训练时采用更保守的预测策略。
• MUVO是首个在真实世界传感器数据的无监督、多模态设置下，实现动作条件化3D占用预测的模型。

Figure 2 : Overview of MUVO. Our model consists of three stages, from left to right. First, raw camera images and lidar point clouds are processed, encoded, and fused. The resulting latent representations are then fed into our transition model. Conditioned on actions, future states are predicted. Fi