[论文解读] Online Vehicle Trajectory Prediction using Policy Anticipation Network and Optimization-based Context Reasoning

Wenchao Ding, Shaojie Shen|arXiv (Cornell University)|Mar 3, 2019

Autonomous Vehicle Technology and Safety参考文献 25被引用 7

一句话总结

本文提出了一种在线两级车辆轨迹预测框架，结合使用LSTM的策略预判网络以预测高层次驾驶行为（例如，左转、让行），以及基于优化的上下文推理模块，将车道几何形状和交通规则等复杂城市因素编码为多层代价图。该方法在多样化城市场景中相比基线方法实现了44%–56%更高的准确率，每次预测耗时22.6毫秒，证明了其在自动驾驶系统中具备鲁棒性和实时可行性。

ABSTRACT

In this paper, we present an online two-level vehicle trajectory prediction framework for urban autonomous driving where there are complex contextual factors, such as lane geometries, road constructions, traffic regulations and moving agents. Our method combines high-level policy anticipation with low-level context reasoning. We leverage a long short-term memory (LSTM) network to anticipate the vehicle's driving policy (e.g., forward, yield, turn left, turn right, etc.) using its sequential history observations. The policy is then used to guide a low-level optimization-based context reasoning process. We show that it is essential to incorporate the prior policy anticipation due to the multimodal nature of the future trajectory. Moreover, contrary to existing regression-based trajectory prediction methods, our optimization-based reasoning process can cope with complex contextual factors. The final output of the two-level reasoning process is a continuous trajectory that automatically adapts to different traffic configurations and accurately predicts future vehicle motions. The performance of the proposed framework is analyzed and validated in an emerging autonomous driving simulation platform (CARLA).

研究动机与目标

• 为解决复杂城市环境中未来车辆轨迹的多模态特性，其中多种意图（例如，转弯、让行、直行）导致不同的运动模式。
• 通过整合高层次行为意图识别与低层次上下文感知优化，提升轨迹预测的准确性。
• 开发一种灵活可扩展的框架，能够适应各种上下文因素（如道路几何形状、交通规则、施工区域和动态目标），而无需重新训练模型。
• 实现实时性能，适用于在线自动驾驶应用，具备低推理延迟和在多样化交通场景下的鲁棒性。

提出的方法

• 使用长短期记忆网络（LSTM）从车辆的序列观测中预判高层次驾驶策略（例如，前进、左转、让行）。
• 通过策略解释器将预测的策略转化为初始轨迹猜测，以指导后续的优化过程。
• 采用多层2D代价图结构，将多样化的上下文因素（如车道边界、道路施工、交通信号灯和其他车辆）统一编码为优化目标。
• 通过非线性优化最小化复合代价函数，平衡轨迹平滑性、道路几何形状遵循度、交通规则遵守度以及与动态目标的交互。
• 优化过程以策略引导的轨迹猜测作为初始值，确保收敛至目标行为模式，从而提升预测准确性。
• 在CARLA自动驾驶仿真平台中完成框架的训练与验证，支持端到端在线推理。

实验结果

研究问题

• RQ1 如何从车辆的序列观测中有效预判高层次驾驶策略（如转弯、让行），以指导轨迹预测？
• RQ2 在多模态城市驾驶场景中，引入策略预判能在多大程度上提升预测准确性？
• RQ3 基于优化的推理框架能否灵活地将多样化上下文因素（如道路施工、交通信号灯、行人横道）编码为统一的代价图结构？
• RQ4 在不同交通配置下（包括正常与异常驾驶行为），该框架在实时性能方面表现如何？

主要发现

• 在弯道场景中，该方法相比基线方法实现了44%的准确率提升，最大瞬时预测误差由6.3米降低至3米。
• 在存在道路施工的交叉路口场景中，该方法在最终预测帧实现了56%的准确率增益，凸显了高层次策略预判的关键作用。
• 该方法成功预测了因行人横穿而引发的紧急制动行为，而基于回归的基线模型未能捕捉此类意图，显示出更优的交互推理能力。
• 系统实现了实时性能，平均端到端推理时间为每帧22.6毫秒，其中16.2毫秒用于代价图渲染，3.4毫秒用于非线性优化。
• 基于优化的上下文推理模块通过将上下文因素统一编码为代价图，有效适应了复杂配置，包括闯红灯和多智能体交互。
• 该框架在五个不同测试场景中表现出鲁棒性和灵活性，涵盖正常驾驶、行人交互以及闯红灯等异常行为。