[论文解读] Rules of the Road: Predicting Driving Behavior with a Convolutional Model of Semantic Interactions

Joey Hong, Benjamin Sapp+1 more|arXiv (Cornell University)|Jun 21, 2019

Autonomous Vehicle Technology and Safety参考文献 36被引用 21

一句话总结

本文提出一种卷积神经网络，通过将3D目标状态和语义地图信息（车道线、交通灯）统一编码为俯视网格表示，实现对多模态驾驶行为的端到端预测。该模型在5秒内未来轨迹预测任务中达到最先进性能，通过利用丰富的环境上下文和不确定性感知的分布输出，显著优于基线模型。

ABSTRACT

We focus on the problem of predicting future states of entities in complex, real-world driving scenarios. Previous research has used low-level signals to predict short time horizons, and has not addressed how to leverage key assets relied upon heavily by industry self-driving systems: (1) large 3D perception efforts which provide highly accurate 3D states of agents with rich attributes, and (2) detailed and accurate semantic maps of the environment (lanes, traffic lights, crosswalks, etc). We present a unified representation which encodes such high-level semantic information in a spatial grid, allowing the use of deep convolutional models to fuse complex scene context. This enables learning entity-entity and entity-environment interactions with simple, feed-forward computations in each timestep within an overall temporal model of an agent's behavior. We propose different ways of modelling the future as a distribution over future states using standard supervised learning. We introduce a novel dataset providing industry-grade rich perception and semantic inputs, and empirically show we can effectively learn fundamentals of driving behavior.

研究动机与目标

• 为解决缺乏大规模、真实感强的数据集，该数据集包含高保真3D感知和语义地图以支持驾驶行为预测的问题。
• 开发一种统一的深度学习框架，通过空间网格表示联合建模目标动力学、交互作用和环境上下文。
• 通过参数化和非参数化输出分布建模不确定性与多模态性，提升未来状态预测性能。
• 通过实证验证，证明引入语义地图和动态目标上下文可显著提升预测精度，超越基线模型。
• 发布一个大规模、工业级数据集，包含丰富的感知与语义输入，以支持自动驾驶领域的未来研究。

提出的方法

• 模型将目标车辆及其周围车辆的过去和当前3D状态，连同语义地图特征（车道线、交通灯、停车线）统一编码为俯视空间网格表示。
• 通过深度卷积神经网络处理该网格表示，实现对场景上下文、目标交互作用和时序动态的联合建模，每个时间步通过前向推理完成。
• 通过多个输出头将未来状态预测为分布形式：每个时间步的高斯分布、高斯混合模型（GMM-CVAE），以及用于轨迹采样的占用网格图。
• 利用可微采样过程从学习到的分布中采样轨迹，支持对多模态预测的评估。
• 通过监督学习进行模型训练，目标是最大化真实未来状态的似然性，损失函数针对分布输出进行定制。
• 消融实验分离输入通道（目标状态、其他车辆、道路地图）的贡献，量化其对预测性能的影响。

实验结果

研究问题

• RQ1 统一的空间网格表示能否有效编码动态目标状态与静态语义地图信息，以实现端到端的驾驶行为预测？
• RQ2 与仅使用原始运动学的模型相比，引入语义地图数据和多目标上下文如何提升未来轨迹预测的准确性？
• RQ3 不同输出表示形式（高斯分布、高斯混合模型、占用网格）在多大程度上能捕捉真实驾驶行为的多模态性和不确定性？
• RQ4 在大规模、真实感数据集上训练的深度卷积架构是否能在多样化城市场景中实现泛化，并提升长时程预测性能（最长至5秒）？
• RQ5 在消融实验中，各输入组件（如道路地图、其他车辆）对预测性能的贡献程度如何？

主要发现

• 与仅使用目标状态的基线相比，引入其他车辆的动态上下文使5秒预测的平均L2误差降低0.55米。
• 进一步引入道路地图使误差再降低0.33米，证明语义场景上下文对准确预测具有关键作用。
• 在较长时程（4–5秒）预测中，该模型优于线性基线和闭源工业方法，表明其具备更优的语义理解能力。
• Top-5轨迹选择策略始终优于单一MAP轨迹预测，证实多模态输出在降低误差方面的价值。
• 定性结果表明，模型能学习到合理的驾驶行为，包括保持车道、遵守交通灯信号以及变道行为，即使在复杂交叉路口也表现良好。
• 当仅从地图中难以判断交通规则时（如存在歧义的路口），模型会出现非法变道等失败案例，凸显纯地图推理的局限性。