[论文解读] S2TNet: Spatio-Temporal Transformer Networks for Trajectory Prediction in Autonomous Driving

Weihuang Chen, Fangfang Wang+1 more|arXiv (Cornell University)|Jun 22, 2022

Autonomous Vehicle Technology and Safety被引用 13

一句话总结

S2TNet 提出了一种用于自动驾驶轨迹预测的时空 Transformer 网络，通过自注意力机制建模所有交通参与者之间的长程空间交互作用和时间依赖性。该方法在 ApolloScape 数据集上实现了最先进性能，通过引入类别、形状和朝向特征以处理异构交通参与者，相较于之前的方法在 WSFDE 上提升了 7.2%，在 WSFDE 上提升了 7.7%。

ABSTRACT

To safely and rationally participate in dense and heterogeneous traffic, autonomous vehicles require to sufficiently analyze the motion patterns of surrounding traffic-agents and accurately predict their future trajectories. This is challenging because the trajectories of traffic-agents are not only influenced by the traffic-agents themselves but also by spatial interaction with each other. Previous methods usually rely on the sequential step-by-step processing of Long Short-Term Memory networks (LSTMs) and merely extract the interactions between spatial neighbors for single type traffic-agents. We propose the Spatio-Temporal Transformer Networks (S2TNet), which models the spatio-temporal interactions by spatio-temporal Transformer and deals with the temporel sequences by temporal Transformer. We input additional category, shape and heading information into our networks to handle the heterogeneity of traffic-agents. The proposed methods outperforms state-of-the-art methods on ApolloScape Trajectory dataset by more than 7\% on both the weighted sum of Average and Final Displacement Error. Our code is available at https://github.com/chenghuang66/s2tnet.

研究动机与目标

• 为解决基于 LSTM 的方法在建模异构交通参与者之间复杂时空交互作用方面的局限性。
• 通过捕捉所有参与者之间的长程空间依赖性，克服先前方法仅限于空间邻近交互建模的限制。
• 在包含多种交通参与者的密集动态城市环境中，提升长期轨迹预测的准确性。
• 整合多模态特征（类别、形状、朝向）以更好地表现场景中交通参与者的异质性。
• 通过新颖的基于 Transformer 的架构，在 ApolloScape 轨迹数据集上实现最先进性能。

提出的方法

• 时空 Transformer 使用空间自注意力机制建模所有交通参与者之间的交互作用，不限于空间邻近者，从而实现长程空间依赖性的捕捉。
• 时间卷积网络（TCN）在时空 Transformer 中融合空间特征前，从序列轨迹中提取时间特征。
• Transformer 解码器中的时间自注意力机制优化时间表征并自回归地生成未来轨迹。
• 该模型整合了额外特征——类别、形状、朝向和全局坐标，以有效表现场景中异构交通参与者。
• 采用掩码自注意力机制评估空间范围限制的影响，结果表明全场景注意力能提升性能。
• 在时间 Transformer 的前馈网络中使用可分离卷积，消融实验表明其优于全连接层。

实验结果

研究问题

• RQ1 基于 Transformer 的架构能否有效建模异构交通参与者之间超越邻近区域的长程空间交互作用？
• RQ2 与循环或卷积模型相比，时间自注意力机制的引入在多大程度上提升了长期轨迹预测性能？
• RQ3 在异构交通场景中，额外的个体特定特征（类别、形状、朝向）在多大程度上提升了预测准确性？
• RQ4 与仅限制在局部空间窗口（如 15m）内进行注意力计算相比，对整个场景进行空间注意力建模是否能获得更优结果？
• RQ5 所提出的时空 Transformer 架构在真实世界密集城市轨迹预测基准上与现有最先进方法相比表现如何？

主要发现

• 与之前最先进方法 GRIP++ 相比，S2TNet 在加权最终位移误差（WSFDE）上实现了 7.2% 的相对提升。
• 该模型在 ApolloScape 轨迹数据集上将加权平均位移误差（WSADE）降低了 7.7%，表现出更优的泛化能力。
• 消融实验证实，同时包含空间和时间自注意力子层的完整时空 Transformer 模型性能最佳。
• 移除时间 Transformer 编码器导致性能显著下降，表明其在捕捉长期时间依赖性方面具有关键作用。
• 在时间 Transformer 中使用可分离卷积替代全连接前馈网络，使 WSADE 指标提升 0.025。
• 与仅使用坐标信息相比，完整引入参与者的特征（类别、形状、朝向）可提升预测准确性，凸显了异质性建模的重要性。