[论文解读] Predicting Future Lane Changes of Other Highway Vehicles using RNN-based Deep Models

Sajan Patel, Brent Griffin+2 more|arXiv (Cornell University)|Jan 12, 2018

Traffic Prediction and Management Techniques参考文献 18被引用 30

一句话总结

本文提出一种复合结构循环神经网络（SRNN），利用一秒内采集的激光雷达（LIDAR）、GPS、惯性及地图数据，预测高速公路环境中周边车辆未来最多三秒内的变道行为。该模型在平衡准确率上相比单LSTM和单因素SRNN基线模型最高提升12%，显著提升了自动驾驶车辆在传感器故障情况下的语义行为预测透明度与可靠性。

ABSTRACT

In the event of sensor failure, autonomous vehicles need to safely execute emergency maneuvers while avoiding other vehicles on the road. To accomplish this, the sensor-failed vehicle must predict the future semantic behaviors of other drivers, such as lane changes, as well as their future trajectories given a recent window of past sensor observations. We address the first issue of semantic behavior prediction in this paper, which is a precursor to trajectory prediction, by introducing a framework that leverages the power of recurrent neural networks (RNNs) and graphical models. Our goal is to predict the future categorical driving intent, for lane changes, of neighboring vehicles up to three seconds into the future given as little as a one-second window of past LIDAR, GPS, inertial, and map data. We collect real-world data containing over 20 hours of highway driving using an autonomous Toyota vehicle. We propose a composite RNN model by adopting the methodology of Structural Recurrent Neural Networks (RNNs) to learn factor functions and take advantage of both the high-level structure of graphical models and the sequence modeling power of RNNs, which we expect to afford more transparent modeling and activity than opaque, single RNN models. To demonstrate our approach, we validate our model using authentic interstate highway driving to predict the future lane change maneuvers of other vehicles neighboring our autonomous vehicle. We find that our composite Structural RNN outperforms baselines by as much as 12% in balanced accuracy metrics.

研究动机与目标

• 使自动驾驶车辆能够在传感器故障期间预测周边车辆的未来变道行为，从而支持安全的紧急操作。
• 解决在仅使用有限历史传感器观测（1–5秒）的情况下，预测语义驾驶行为（特别是变道）的挑战。
• 将图模型的可解释性与RNN的序列建模能力相结合，实现稳健的行为预测。
• 开发一种透明、可扩展且可靠的框架，用于在真实高速公路环境中预测外部车辆行为。

提出的方法

• 作者设计了一种基于车道的图模型，用于表示本车与周边外部车辆之间的时空依赖关系。
• 将该图模型转化为结构化RNN（SRNN），其中RNN单元根据因子图结构进行组织，以学习非线性因子函数与节点函数。
• 使用配备激光雷达（LIDAR）、GPS、惯性传感器和高清地图的自动驾驶丰田车辆采集的真实世界数据，对SRNN进行端到端训练。
• 该模型处理传感器输入序列（激光雷达、GPS、惯性数据、地图信息），并预测周边车辆未来的类别意图（向左变道、向右变道、无变化）。
• 该架构融合了高层结构建模与深度学习，兼具可解释性与超越标准RNN的可扩展性。
• 该方法采用复合RNN结构，可同时建模本车与多个外部车辆之间的交互，捕捉上下文依赖关系。

实验结果

研究问题

• RQ1 与标准RNN相比，结合图模型与RNN的混合模型是否能提升变道预测的准确率与可解释性？
• RQ2 在高速公路驾驶的复杂背景下，仅使用一秒传感器数据的模型能否有效预测未来变道行为？
• RQ3 在RNN中引入结构化、基于车道的因子图是否能提升不同预测时延下的性能与一致性？
• RQ4 在平衡准确率与鲁棒性方面，所提出的复合SRNN与单LSTM及单因素SRNN基线模型相比表现如何？

主要发现

• 复合结构RNN（SRNN）在多个时间预测时延下，相比单LSTM与单因素SRNN基线模型，平衡准确率最高提升12%。
• 当使用更长的时间历史（5秒）时，该模型在长达3秒的预测时延内表现出一致的性能，表明其具备优越的时间建模可靠性。
• 在九种时间时延设置中的八种情况下，复合SRNN的平衡准确率均高于单LSTM与单因素SRNN，凸显其鲁棒性。
• 尽管在两种情况下（5秒历史下预测2秒与3秒）出现轻微性能波动，复合SRNN仍保持整体更优的一致性与透明度。
• 该模型的可解释性与结构化设计相较于黑箱单层RNN具有显著优势，尤其在自动驾驶等安全关键场景中。
• 结果验证了将高层图结构与深度RNN学习相结合，可实现更可靠、更透明的自动驾驶行为预测。