[论文解读] Predicting Motion of Vulnerable Road Users using High-Definition Maps and Efficient ConvNets

Fang‐Chieh Chou, Tsung-Han Lin+7 more|arXiv (Cornell University)|Jun 20, 2019

Autonomous Vehicle Technology and Safety被引用 4

一句话总结

本文提出了一种深度学习框架，通过高分辨率地图栅格化和高效的卷积神经网络（ConvNets），实现对城市环境中行人和骑行者的运动预测。通过优化栅格化分辨率、旋转角度和场景上下文（如交通信号灯、车道方向），该方法实现了高精度与低延迟，支持自动驾驶车辆中的实时部署。

ABSTRACT

Following detection and tracking of traffic actors, prediction of their future motion is the next critical component of a self-driving vehicle (SDV) technology, allowing the SDV to operate safely and efficiently in its environment. This is particularly important when it comes to vulnerable road users (VRUs), such as pedestrians and bicyclists. These actors need to be handled with special care due to an increased risk of injury, as well as the fact that their behavior is less predictable than that of motorized actors. To address this issue, in the current study we present a deep learning-based method for predicting VRU movement, where we rasterize high-definition maps and actor's surroundings into a bird's-eye view image used as an input to deep convolutional networks. In addition, we propose a fast architecture suitable for real-time inference, and perform an ablation study of various rasterization approaches to find the optimal choice for accurate prediction. The results strongly indicate benefits of using the proposed approach for motion prediction of VRUs, both in terms of accuracy and latency.

研究动机与目标

• 解决预测弱势道路使用者（VRUs），如行人和骑行者，所面临的挑战，他们更容易受伤且行为比机动车辆更难预测。
• 通过将车道拓扑、交通信号和道路几何等详细场景上下文整合进深度学习框架，提升运动预测的准确性。
• 开发一种快速、高效的卷积神经网络架构，适用于在密集城市环境中运行的自动驾驶车辆的实时推理。
• 通过全面的消融实验，识别出能最大化VRU预测性能的最优栅格化设置（分辨率、旋转、特征编码）。
• 通过离线测试和在真实自动驾驶车辆（SDV）运行中的成功现场部署，验证系统性能。

提出的方法

• 将高清（HD）地图及周围场景上下文（包括车道几何、交通信号和参与者位置）以不同分辨率（0.1m、0.2m、0.3m）栅格化为鸟瞰图（BEV）特征图。
• 旋转栅格化后的BEV特征图，使目标参与者朝向朝上，以减少输入变化并简化卷积神经网络的预测任务。
• 采用轻量化、高效的卷积神经网络架构，专为自动驾驶车辆中嵌入式系统的实时推理而设计。
• 将场景特定特征（如交通信号灯状态和车道方向指示器，通过颜色编码）整合到栅格输入中，以建模对VRU运动的上下文约束。
• 通过微调预训练的车辆运动模型来优化VRU预测模型，以利用通用运动模式，同时适应VRU特有的行为特征。
• 通过消融实验评估多种栅格化配置，以分离分辨率、旋转和特征编码对预测精度的影响。

实验结果

研究问题

• RQ1 栅格化分辨率（0.1m、0.2m、0.3m）的选择如何影响行人和骑行者运动预测的准确性？
• RQ2 将栅格化BEV图旋转至使参与者朝向与图像顶部对齐，能在多大程度上提升预测性能？
• RQ3 在栅格化输入中包含交通信号灯状态和车道方向信息对准确预测VRU轨迹有多关键？
• RQ4 能否有效微调预训练的车辆运动模型用于VRU预测？与从头训练相比，其表现如何？
• RQ5 哪种栅格化设置组合能在实时SDV部署中实现精度与计算效率的最佳平衡？

主要发现

• 0.1m分辨率的栅格化在行人预测中实现了最低的预测误差，而0.3m分辨率表现最差，表明更精细的空间细节对移动较慢的参与者更有利。
• 未对栅格化输入进行旋转导致行人和骑行者预测精度显著下降，表明旋转可稳定输入分布并简化学习过程。
• 排除交通信号灯状态信息会增加两类参与者的预测误差，典型案例显示，交通信号灯状态变化使骑行者的预测轨迹从穿越变为等待。
• 车道方向编码略微提升了骑行者预测的准确性，但对行人无影响，证实车道引导对类似车辆的行为更为相关。
• 端到端学习栅格颜色略微改善了骑行者预测，但损害了行人预测性能，表明人工设计的颜色编码已足够捕捉行人的有效信号。
• 使用车辆预训练权重进行微调提升了骑行者预测性能，但对行人预测造成损害，表明车辆运动模式在行为差异下对行人迁移性较差。