[论文解读] Wayformer: Motion Forecasting via Simple & Efficient Attention Networks

Nigamaa Nayakanti, Rami Al‐Rfou+4 more|arXiv (Cornell University)|Jul 12, 2022

Autonomous Vehicle Technology and Safety被引用 6

一句话总结

Wayformer 提出了一种简单、统一的基于注意力机制的运动预测架构，通过在单一 Transformer 编码器中早期融合多种模态输入（例如，智能体轨迹、地图结构、交通灯状态），随后使用交叉注意力解码器，实现了在 Waymo 开放运动数据集和 Argoverse 排行榜上的最先进性能，同时具备极低的架构复杂度和通过因子化或潜在查询注意力实现的高效计算。

ABSTRACT

Motion forecasting for autonomous driving is a challenging task because complex driving scenarios result in a heterogeneous mix of static and dynamic inputs. It is an open problem how best to represent and fuse information about road geometry, lane connectivity, time-varying traffic light state, and history of a dynamic set of agents and their interactions into an effective encoding. To model this diverse set of input features, many approaches proposed to design an equally complex system with a diverse set of modality specific modules. This results in systems that are difficult to scale, extend, or tune in rigorous ways to trade off quality and efficiency. In this paper, we present Wayformer, a family of attention based architectures for motion forecasting that are simple and homogeneous. Wayformer offers a compact model description consisting of an attention based scene encoder and a decoder. In the scene encoder we study the choice of early, late and hierarchical fusion of the input modalities. For each fusion type we explore strategies to tradeoff efficiency and quality via factorized attention or latent query attention. We show that early fusion, despite its simplicity of construction, is not only modality agnostic but also achieves state-of-the-art results on both Waymo Open MotionDataset (WOMD) and Argoverse leaderboards, demonstrating the effectiveness of our design philosophy

研究动机与目标

• 为解决将异构多模态输入（如智能体轨迹、道路几何结构、交通灯状态）融合为统一、可扩展的运动预测模型的挑战。
• 通过避免使用模态特定的编码器，转而采用统一的基于注意力的设计，降低架构复杂度。
• 通过因子化注意力和潜在查询注意力等技术，改善运动预测中的效率与性能权衡。
• 证明最小化、模态无关的设计可超越复杂、手工设计的架构在运动预测任务中的表现。

提出的方法

• 该模型使用自注意力编码器，在处理流程的早期阶段融合多种输入模态（智能体历史轨迹、地图、交通灯、交互信息）。
• 探索了三种融合策略：早期融合（所有模态在注意力前拼接）、晚期融合（模态特定编码器后进行后期拼接）和分层融合（模态特定编码器配合中间融合）。
• 通过分别在空间和时间维度上独立注意力，应用因子化注意力以降低计算成本。
• 使用潜在查询注意力将查询数量与输入序列长度解耦，实现固定分辨率输出的高效推理。
• 通过交叉注意力解码器生成多样化、多模态的未来轨迹分布，其注意力机制作用于编码后的场景表征。
• 整个架构通过多模态轨迹预测头端到端训练，以建模多样化的未来结果。

实验结果

研究问题

• RQ1 简单的、统一的基于注意力的架构是否能在运动预测中超越复杂的、模态特定的设计？
• RQ2 与晚期或分层融合相比，多模态输入的早期融合是否能带来更好的性能和效率？
• RQ3 因子化注意力和潜在查询注意力机制在不损失精度的前提下，是否能有效降低计算成本？
• RQ4 模态无关的设计是否能在 Waymo 和 Argoverse 等多样化基准上实现最先进性能？
• RQ5 简化假设（如独立建模智能体）在交互式驾驶场景中在多大程度上限制了性能？

主要发现

• Wayformer 在 Waymo 开放运动数据集（WOMD）上实现了最先进性能，且架构更简单。
• 该模型在 Argoverse 运动预测排行榜上也达到最先进水平，展现出在不同基准上的强大泛化能力。
• 所有输入模态的早期融合带来最佳性能，表明早期整合能更好地保留丰富的上下文信息。
• 因子化注意力和潜在查询注意力显著降低了推理延迟，同时保持高精度，支持实时部署。
• 该模型在各种驾驶场景中表现稳健，包括高智能体密度的复杂城市环境。
• 消融实验确认，采用模态无关设计并辅以最少的架构假设，可实现更优的效率-性能权衡。