[论文解读] Spectral Temporal Graph Neural Network for Trajectory Prediction

Defu Cao, Jiachen Li+2 more|arXiv (Cornell University)|Jun 5, 2021

Autonomous Vehicle Technology and Safety参考文献 43被引用 4

一句话总结

本文提出了一种新型框架——频谱时序图神经网络（SpecTGNN），该框架在时域和频域中联合建模空间-时序依赖关系，用于多智能体轨迹预测。通过整合图傅里叶变换、谱图卷积与时序门控卷积，SpecTGNN 在 SDD 和 nuScenes 数据集上实现了最先进性能，相较于最先进基线模型，minFDE 降低了 8.1%。

ABSTRACT

An effective understanding of the contextual environment and accurate motion forecasting of surrounding agents is crucial for the development of autonomous vehicles and social mobile robots. This task is challenging since the behavior of an autonomous agent is not only affected by its own intention, but also by the static environment and surrounding dynamically interacting agents. Previous works focused on utilizing the spatial and temporal information in time domain while not sufficiently taking advantage of the cues in frequency domain. To this end, we propose a Spectral Temporal Graph Neural Network (SpecTGNN), which can capture inter-agent correlations and temporal dependency simultaneously in frequency domain in addition to time domain. SpecTGNN operates on both an agent graph with dynamic state information and an environment graph with the features extracted from context images in two streams. The model integrates graph Fourier transform, spectral graph convolution and temporal gated convolution to encode history information and forecast future trajectories. Moreover, we incorporate a multi-head spatio-temporal attention mechanism to mitigate the effect of error propagation in a long time horizon. We demonstrate the performance of SpecTGNN on two public trajectory prediction benchmark datasets, which achieves state-of-the-art performance in terms of prediction accuracy.

研究动机与目标

• 提升复杂交互环境中长期轨迹预测的准确性，此类环境在自动驾驶与机器人领域中普遍存在。
• 解决先前方法仅关注时域动态的局限性，通过引入频域表示来弥补不足。
• 通过双图结构（智能体图与环境图）结合谱图卷积，同时建模智能体交互与环境上下文。
• 利用多头时空注意力机制，抑制长时程预测中的误差传播。
• 验证频域建模在图神经网络用于轨迹预测中的有效性。

提出的方法

• SpecTGNN 采用双图架构：智能体图基于动态状态特征，环境图基于 CNN 提取的图像特征。
• 应用图傅里叶变换（GFT）将时间轨迹转换为频域表示，实现更紧凑且信息更丰富的谱建模。
• 提出一种新型 SpecTGNN 模块，在智能体图与环境图上执行谱图卷积，以捕捉智能体间与场景级的相关性。
• 使用时序门控卷积（TCNN）建模时域中的序列依赖关系，与频域学习形成互补。
• 采用多头时空注意力机制，动态调整各时间步中智能体的重要性权重，以抑制误差传播。
• 从图像特征构建环境图拉普拉斯矩阵，实现对上下文空间结构的谱卷积。

实验结果

研究问题

• RQ1 与仅基于时域的方法相比，通过在频域中建模时间动态是否能提升轨迹预测的准确性？
• RQ2 谱图卷积在捕捉多智能体交互中的长程空间依赖关系方面有多有效？
• RQ3 通过学习得到的环境图整合环境上下文，是否能提升预测性能？
• RQ4 多头时空注意力机制在多大程度上减少了长时程预测中的误差累积？
• RQ5 频域表示是否能为轨迹预测中的时域建模提供互补信息？

主要发现

• SpecTGNN 在 SDD 和 nuScenes 基准数据集上均实现了最先进性能，优于以往最先进模型。
• 在 nuScenes 数据集上，与最先进基线模型 STGAT 相比，SpecTGNN 将 minFDE 降低了 8.1%。
• 消融实验表明，所有组件——TGConv、STAtt 和图像特征——均至关重要，其中图像输入使 minADE 降低 11.2%，minFDE 降低 9.6%。
• 随着预测样本数（K）的增加，性能持续提升，表明模型在假设集上具有鲁棒性与泛化能力。
• 定性结果表明，SpecTGNN 能够准确预测复杂场景中的多样化行为，如转向、停止、车道保持及方向改变。