[论文解读] Multimodal Motion Prediction with Stacked Transformers

Yicheng Liu, Jinghuai Zhang+3 more|arXiv (Cornell University)|Mar 22, 2021

Autonomous Vehicle Technology and Safety参考文献 36被引用 21

一句话总结

该论文提出 mmTransformer，一种基于堆叠 Transformer 的多模态运动预测模型，通过使用固定轨迹提议和基于区域的训练策略，提升了预测的多样性与准确性。通过分层注意力机制对提议进行优化，并在训练中使每个提议专注于特定空间区域，该模型在 Argoverse 基准测试中实现了最先进性能，无论在轨迹准确性还是模式覆盖方面均优于先前方法。

ABSTRACT

Predicting multiple plausible future trajectories of the nearby vehicles is crucial for the safety of autonomous driving. Recent motion prediction approaches attempt to achieve such multimodal motion prediction by implicitly regularizing the feature or explicitly generating multiple candidate proposals. However, it remains challenging since the latent features may concentrate on the most frequent mode of the data while the proposal-based methods depend largely on the prior knowledge to generate and select the proposals. In this work, we propose a novel transformer framework for multimodal motion prediction, termed as mmTransformer. A novel network architecture based on stacked transformers is designed to model the multimodality at feature level with a set of fixed independent proposals. A region-based training strategy is then developed to induce the multimodality of the generated proposals. Experiments on Argoverse dataset show that the proposed model achieves the state-of-the-art performance on motion prediction, substantially improving the diversity and the accuracy of the predicted trajectories. Demo video and code are available at https://decisionforce.github.io/mmTransformer.

研究动机与目标

• 为解决在数据稀缺与不确定性条件下，自动驾驶中学习多个合理未来轨迹的挑战。
• 克服概率方法与基于提议方法的局限性，如模式坍塌问题以及对启发式锚点的依赖。
• 设计一种深度学习框架，显式在特征层面建模多模态性，而无需依赖预定义先验。
• 通过在训练中强制实施区域特定学习，确保每个预测提议专注于不同的模式。

提出的方法

• 该模型采用堆叠 Transformer 架构，包含多个编码器-解码器模块，以分层方式聚合过去轨迹、道路布局和社会交互的上下文特征。
• 轨迹提议随机初始化，并通过多头自注意力与交叉注意力机制进行优化，以生成多样化预测。
• 基于区域的训练策略（RTS）将周围空间划分为 M 个区域，将每个提议分配至一个区域，并仅在真实标签区域中优化对应提议。
• 通过前馈网络为每个提议关联置信度分数，并应用分类损失，以鼓励正确区域内的提议获得高分。
• 模型使用空间位置编码和 Xavier 初始化，通过水平翻转和早期轨迹步长掩码实现数据增强。
• 推理阶段，采用非极大值抑制（NMS）根据置信度分数与交并比（IoU）阈值过滤重叠轨迹。

实验结果

研究问题

• RQ1 基于 Transformer 的架构能否通过学习固定且独立的轨迹提议，有效建模多模态运动预测？
• RQ2 如何设计一种训练策略，使每个提议在每场景仅有一个真实轨迹的情况下，仍能学习到不同的模式？
• RQ3 与标准训练范式相比，基于区域的训练是否能提升预测轨迹的多样性与准确性？
• RQ4 堆叠 Transformer 是否能有效捕捉复杂驾驶场景中的长距离依赖与上下文交互？
• RQ5 所提方法在真实世界基准测试中，相较于现有概率方法与基于提议的方法，性能提升程度如何？

主要发现

• 截至 2020 年 11 月 16 日，所提出的 mmTransformer 在 Argoverse 运动预测排行榜中位列第一，展现出最先进性能。
• 基于区域的训练策略显著提升了模式覆盖能力，当 M=N=6 时，85.3% 的预测落在正确区域。
• 在 MR 矩阵的对角线上，模型实现了最低 12.1% 的遗漏率，表明提议对指定区域具有强专业化能力。
• 消融实验表明，与标准训练相比，基于区域的训练策略使平均位移误差降低了 12.4%。
• 由于其稳健的特征聚合与提议专业化机制，模型在复杂交叉路口与高密度交通等多种场景中均保持高性能。