[论文解读] Spatio-Temporal Look-Ahead Trajectory Prediction using Memory Neural Network

N.J. Rao, Suresh Sundaram|arXiv (Cornell University)|Feb 24, 2021

Autonomous Vehicle Technology and Safety参考文献 46被引用 5

一句话总结

本文提出了一种新颖的内存神经元网络（MNN），用于交通参与者时空轨迹预测，利用循环记忆单元更高效地建模长期依赖关系，优于LSTM或GRU。MNN在5秒预测时延下实现了20%更低的RMSE，达到当前最先进性能，并在带有异常车辆的CARLA仿真中展现出实时鲁棒性。

ABSTRACT

Prognostication of vehicle trajectories in unknown environments is intrinsically a challenging and difficult problem to solve. The behavior of such vehicles is highly influenced by surrounding traffic, road conditions, and rogue participants present in the environment. Moreover, the presence of pedestrians, traffic lights, stop signs, etc., makes it much harder to infer the behavior of various traffic agents. This paper attempts to solve the problem of Spatio-temporal look-ahead trajectory prediction using a novel recurrent neural network called the Memory Neuron Network. The Memory Neuron Network (MNN) attempts to capture the input-output relationship between the past positions and the future positions of the traffic agents. The proposed model is computationally less intensive and has a simple architecture as compared to other deep learning models that utilize LSTMs and GRUs. It is then evaluated on the publicly available NGSIM dataset and its performance is compared with several state-of-art algorithms. Additionally, the performance is also evaluated on a custom synthetic dataset generated from the CARLA simulator. It is seen that the proposed model outperforms the existing state-of-art algorithms. Finally, the model is integrated with the CARLA simulator to test its robustness in real-time traffic scenarios.

研究动机与目标

• 解决在复杂、不可预测的交通环境中以高精度和低计算成本预测车辆轨迹的挑战。
• 开发一种轻量化、计算高效的LSTM和GRU基模型替代方案，用于轨迹预测。
• 在真实世界NGSIM数据和带有异常车辆的合成数据上评估性能，以测试在极端场景下的鲁棒性。
• 通过CARLA模拟器中的动态交通仿真验证模型的实时部署能力。

提出的方法

• 内存神经元网络（MNN）是一种新颖的循环神经网络，其中每个神经元包含记忆单元，用于在各层之间存储时间信息。
• MNN通过端到端学习建模过去轨迹序列与未来预测之间的输入-输出关系。
• 网络使用均方误差（MSE）损失函数，基于过去位置序列序列进行训练，以预测未来位置。
• 模型在NGSIM US-101数据集和使用CARLA模拟器生成的自定义合成数据集上进行评估，其中包含异构异常代理。
• 通过使用C++ API将训练好的MNN集成到CARLA中每个异常车辆的轨迹规划器中，实现实时部署。
• MNN的全局循环机制使其能够捕捉前序各层中所有神经元之间的依赖关系，从而增强长期记忆保持能力。

实验结果

研究问题

• RQ1 基于记忆增强的循环网络是否能在计算成本更低的前提下，优于现有深度学习模型，在时空轨迹预测中表现更优？
• RQ2 与最先进方法相比，MNN在真实世界交通数据（NGSIM）上的表现如何？
• RQ3 MNN能否泛化到不可预测、高风险行为，如仿真中的异常车辆行为？
• RQ4 在包含多种车辆类型的大型实时交通仿真中，该模型表现如何？

主要发现

• 与NGSIM数据集中表现最佳的基线模型相比，MNN在1秒预测时延下实现RMSE降低35%，在5秒预测时延下实现RMSE降低20%。
• MNN在1秒到5秒预测时延之间RMSE增长更平缓，表明其性能优于其他模型，具有更高的稳定性。
• 在包含100辆车辆（20%为异常车辆）的CARLA仿真中，MNN成功实现实时轨迹预测，直线路径上的误差极小。
• 在十字路口左转操作期间，模型误差较高，表明缺乏地图感知特征，但依然保持了正确的轨迹结构。
• MNN的轻量化架构使得其能够在仿真中所有异常车辆上实现实时部署，证实了其计算效率。
• 与LSTM中的局部循环不同，MNN的全局循环机制增强了其建模网络中长期依赖关系的能力。