[论文解读] Robust Trajectory Forecasting for Multiple Intelligent Agents in Dynamic Scene

Yanliang Zhu, Dongchun Ren+4 more|arXiv (Cornell University)|May 27, 2020

Autonomous Vehicle Technology and Safety参考文献 26被引用 14

一句话总结

本文提出了一种针对动态场景中多个智能体的鲁棒轨迹预测方法，通过整合全局时空交互建模、基于高清地图的环境特征编码以及带有注意力机制的多模态预测网络，实现了最先进性能。在Argoverse数据集上，该方法将ADE和FDE分别降低了14%和11%，并在ETH/UCY和ApolloScape数据集上优于现有方法。

ABSTRACT

Trajectory forecasting, or trajectory prediction, of multiple interacting agents in dynamic scenes, is an important problem for many applications, such as robotic systems and autonomous driving. The problem is a great challenge because of the complex interactions among the agents and their interactions with the surrounding scenes. In this paper, we present a novel method for the robust trajectory forecasting of multiple intelligent agents in dynamic scenes. The proposed method consists of three major interrelated components: an interaction net for global spatiotemporal interactive feature extraction, an environment net for decoding dynamic scenes (i.e., the surrounding road topology of an agent), and a prediction net that combines the spatiotemporal feature, the scene feature, the past trajectories of agents and some random noise for the robust trajectory prediction of agents. Experiments on pedestrian-walking and vehicle-pedestrian heterogeneous datasets demonstrate that the proposed method outperforms the state-of-the-art prediction methods in terms of prediction accuracy.

研究动机与目标

• 解决在存在多个相互作用智能体的复杂动态场景中实现准确、长期轨迹预测的挑战。
• 同时建模智能体之间的社交互动以及道路拓扑等环境影响，以提升预测的鲁棒性。
• 克服基于RNN的模型无法捕捉全局时空依赖性和场景上下文的局限性。
• 通过整合异构智能体特征和环境感知表征，提升预测准确性。
• 实现对多样化场景（包括行人与车辆交互）具有良好泛化能力的鲁棒多模态轨迹预测。

提出的方法

• 采用带有软智能体跟踪模块的交互网络，利用LSTM编码的历史轨迹建模全局时空交互。
• 引入环境网络，使用预训练的CNN对道路拓扑的高清（HD）地图进行编码，以表示场景上下文。
• 使用注意力机制自适应地加权智能体之间的交互，聚焦于相关社交动态。
• 在预测头中融合时空交互特征、环境特征、历史轨迹和随机噪声，实现多模态预测。
• 使用ADE和FDE作为损失函数，对端到端模型进行联合优化，所有组件协同训练。
• 在Argoverse数据集上，同时采用自车视角和世界坐标系进行评估，融合自车运动和规划轨迹特征。

实验结果

研究问题

• RQ1 如何有效建模多个智能体之间的全局时空交互，以实现鲁棒的轨迹预测？
• RQ2 在动态场景中，引入高清地图特征在多大程度上能提升轨迹预测的准确性？
• RQ3 基于注意力的交互与环境特征融合能否提升多模态预测性能？
• RQ4 所提方法在场景复杂度和智能体类型各异的数据集上是否具有良好的泛化能力？
• RQ5 各组件（交互、环境、跟踪等）对整体预测精度的独立贡献分别是什么？

主要发现

• 在Argoverse数据集的世界坐标系下，与Social GAN相比，该方法将ADE降低了14%，FDE降低了11%。
• 在Argoverse数据集的自车视角设置下，与第二名方法（Social LSTM）相比，该方法将ADE降低了11%，FDE降低了4%。
• 消融实验表明，位置特征（PF）和跟踪特征（TF）贡献最大，分别使误差降低0.47和0.14。
• 环境特征（EF）和自车轨迹特征（ETF）也具有显著贡献，分别使误差降低0.2和0.4。
• 该方法在所有基准数据集上均优于基线模型（Linear、KF、vanilla-LSTM）以及SOTA方法（如Social-LSTM、Social-GAN和Sophie）。
• 在ETH-hotel子集上，尽管轨迹更趋线性，该方法仍优于非线性模型（如Social-GAN和Sophie），表明其具备强大的泛化能力。