[论文解读] Trajectory Forecasting on Temporal Graphs

Görkay Aydemir, Adil Kaan Akan+1 more|arXiv (Cornell University)|Jul 1, 2022

Autonomous Vehicle Technology and Safety被引用 4

一句话总结

该论文提出了一种时间图神经网络（TGN），通过在时间上建模智能体与场景元素之间的动态交互，并引入针对智能体的特定记忆模块和全局场景记忆模块，以提升运动预测性能。通过学习随时间演化的图表示，并采用目标条件化的轨迹预测方法，该方法在Argoverse基准上实现了最先进性能，在验证集和测试集上均位列b-minFDE第二名，minADE和minFDE排名前三。

ABSTRACT

Predicting future locations of agents in the scene is an important problem in self-driving. In recent years, there has been a significant progress in representing the scene and the agents in it. The interactions of agents with the scene and with each other are typically modeled with a Graph Neural Network. However, the graph structure is mostly static and fails to represent the temporal changes in highly dynamic scenes. In this work, we propose a temporal graph representation to better capture the dynamics in traffic scenes. We complement our representation with two types of memory modules; one focusing on the agent of interest and the other on the entire scene. This allows us to learn temporally-aware representations that can achieve good results even with simple regression of multiple futures. When combined with goal-conditioned prediction, we show better results that can reach the state-of-the-art performance on the Argoverse benchmark.

研究动机与目标

• 解决静态图表示在捕捉交通场景时间动态方面的局限性。
• 通过随时间建模智能体与场景元素之间的交互演化，提升运动预测性能。
• 通过聚焦于目标智能体和整个场景的双记忆机制，提升预测的准确性和多样性。
• 在Argoverse基准上实现最先进性能，且无需针对特定指标进行优化。

提出的方法

• 构建一个动态时间图，其中每个节点代表一个智能体或场景元素，边根据时间交互关系进行更新。
• 使用图神经网络在节点间传播特征，同时显式建模时间轴上的时间演化。
• 引入针对智能体的特定记忆模块，以追踪目标智能体的历史轨迹和运动模式。
• 整合全局场景记忆模块，以编码全局场景动态和长距离依赖关系。
• 通过目标条件化的预测头生成多个未来轨迹假设，结合场景记忆和运动上下文对预测进行优化。
• 采用简单的多假设回归损失，在训练过程中仅对最接近的预测轨迹施加监督。

实验结果

研究问题

• RQ1 一种随时间演化的时序图表示能否提升动态交通场景中的运动预测性能？
• RQ2 与以智能体为中心的时间建模相比，建模全局场景时间动态对预测准确性和多样性有何影响？
• RQ3 双记忆模块（智能体特定与全局场景）在多大程度上提升了轨迹预测性能？
• RQ4 目标条件化预测头能否在不牺牲终点准确性的前提下提升模式覆盖率？

主要发现

• 该方法在Argoverse测试集上实现了b-minFDE为1.08，位列所有方法中的第二名。
• 在验证集上，其minFDE为1.08，minADE为0.73，两项指标均位列前三。
• 在验证集上，其MR为0.10，位列第三，尽管未针对该指标进行优化。
• 定性结果表明，时序图表示可生成更符合地图约束的轨迹，并在交叉路口等复杂区域实现更优的速度跟踪。
• 目标条件化显著提升了模式覆盖率，能够同时预测左转和右转轨迹，而简单回归方法则会遗漏这些模式。
• 消融实验表明，时序图学习与双记忆模块对性能提升均至关重要。