[论文解读] PedFormer: Pedestrian Behavior Prediction via Cross-Modal Attention Modulation and Gated Multitask Learning

Amir Rasouli, Iuliia Kotseruba|arXiv (Cornell University)|Oct 14, 2022

Autonomous Vehicle Technology and Safety被引用 4

一句话总结

PedFormer 提出了一种基于跨模态 Transformer 的框架，结合门控多任务学习，利用第一视角视频、运动和场景数据，联合预测行人轨迹与过街动作。通过整合跨模态注意力、动态交互建模以及门控混合解码器，该方法在轨迹预测和动作预测指标上分别实现了高达 22% 和 13% 的性能提升，达到当前最先进水平。

ABSTRACT

Predicting pedestrian behavior is a crucial task for intelligent driving systems. Accurate predictions require a deep understanding of various contextual elements that potentially impact the way pedestrians behave. To address this challenge, we propose a novel framework that relies on different data modalities to predict future trajectories and crossing actions of pedestrians from an ego-centric perspective. Specifically, our model utilizes a cross-modal Transformer architecture to capture dependencies between different data types. The output of the Transformer is augmented with representations of interactions between pedestrians and other traffic agents conditioned on the pedestrian and ego-vehicle dynamics that are generated via a semantic attentive interaction module. Lastly, the context encodings are fed into a multi-stream decoder framework using a gated-shared network. We evaluate our algorithm on public pedestrian behavior benchmarks, PIE and JAAD, and show that our model improves state-of-the-art in trajectory and action prediction by up to 22% and 13% respectively on various metrics. The advantages brought by components of our model are investigated via extensive ablation studies.

研究动机与目标

• 为解决在城市驾驶场景中准确预测行人行为的挑战，通过联合建模未来轨迹与过街动作。
• 通过跨模态注意力机制，利用视觉、运动与场景上下文等多模态数据，提升预测性能。
• 通过将动态自车与行人运动融入语义场景表征，增强行人与交通参与者之间的交互建模。
• 设计一种鲁棒的解码架构，有效在轨迹与动作预测任务间共享知识，同时最小化干扰。
• 通过在公开基准上的大量消融实验，验证各组件的有效性。

提出的方法

• 模型使用跨模态 Transformer 编码器，通过不同数据类型的查询、键和值表示，学习视觉、运动与场景模态之间的依赖关系。
• 交互建模模块采用双注意力机制，通过融合行人与自车动态信息与语义场景特征，生成上下文感知的表征。
• 将交互表征与模态编码输出拼接后，输入门控混合多流解码器，以同时预测轨迹与动作。
• 门控解码器使用可学习门控机制，控制共享表征向任务特定解码器的信息流动，实现特征的有选择性利用。
• 框架采用多任务学习目标，联合优化轨迹与动作预测，使用共享头与任务特定头。
• 模型在 PIE 与 JAAD 数据集上端到端训练，使用 ADE、FDE、AUC、F1 与 IoU 等标准指标。

实验结果

研究问题

• RQ1 视觉、运动与场景数据之间的跨模态注意力调制在多大程度上提升了行人行为预测性能？
• RQ2 将行人与自车之间的动态交互建模纳入模型，能在多大程度上提升预测准确性？
• RQ3 门控混合解码器架构相较于共享或任务特定解码器，在多任务行人预测中表现如何？
• RQ4 跨模态注意力、交互建模与门控解码各组件对整体性能的贡献分别是什么？
• RQ5 联合预测轨迹与动作是否优于单任务方法？

主要发现

• PedFormer 在 PIE 与 JAAD 基准测试中均达到最先进性能，轨迹预测指标（ADE、FDE、ARB、FRB）相比 SOTA 最高提升 22%。
• 引入跨模态注意力显著提升了性能，相比无此机制的基线模型，轨迹指标最高提升 12%，动作指标（AUC、F1）最高提升 3%。
• 所提出的交互建模模块通过融合运动与语义场景特征，相比消融基线，轨迹预测性能最高提升 12%，动作预测性能最高提升 3%。
• 门控混合解码器优于基于任务、共享或双分支解码器，轨迹指标最高提升 12%，动作指标最高提升 4%。
• 消融实验表明，若移除运动编码或使用简单 1×1 卷积替代基于注意力的交互建模，性能会下降，凸显动态上下文的重要性。
• 定性结果表明，PedFormer 在高自车运动事件（如转弯或加速）期间能生成更准确、更鲁棒的预测。