[论文解读] Predicting Pedestrian Crossing Intention with Feature Fusion and Spatio-Temporal Attention

Dongfang Yang, Haolin Zhang+3 more|arXiv (Cornell University)|Apr 12, 2021

Autonomous Vehicle Technology and Safety参考文献 33被引用 6

一句话总结

该论文提出了一种基于视觉的行人过街意图预测模型，通过混合注意力机制融合多模态时空特征（如RGB视频、语义分割、行人姿态和自车速度），结合2D卷积神经网络（CNN）与门控循环单元（GRUs），实现端到端的特征融合。该方法在JAAD基准上实现了最先进性能，准确率达到83%，AUC为82%，通过显式建模全局场景上下文并结合大量消融实验优化特征融合策略。

ABSTRACT

Predicting vulnerable road user behavior is an essential prerequisite for deploying Automated Driving Systems (ADS) in the real-world. Pedestrian crossing intention should be recognized in real-time, especially for urban driving. Recent works have shown the potential of using vision-based deep neural network models for this task. However, these models are not robust and certain issues still need to be resolved. First, the global spatio-temproal context that accounts for the interaction between the target pedestrian and the scene has not been properly utilized. Second, the optimum strategy for fusing different sensor data has not been thoroughly investigated. This work addresses the above limitations by introducing a novel neural network architecture to fuse inherently different spatio-temporal features for pedestrian crossing intention prediction. We fuse different phenomena such as sequences of RGB imagery, semantic segmentation masks, and ego-vehicle speed in an optimum way using attention mechanisms and a stack of recurrent neural networks. The optimum architecture was obtained through exhaustive ablation and comparison studies. Extensive comparative experiments on the JAAD pedestrian action prediction benchmark demonstrate the effectiveness of the proposed method, where state-of-the-art performance was achieved. Our code is open-source and publicly available.

研究动机与目标

• 提升城市自动驾驶场景中实时行人过街意图预测的性能。
• 解决现有模型对全局时空上下文利用不足以及特征融合策略欠佳的局限性。
• 开发一种鲁棒的、基于视觉的深度学习框架，整合多样化传感器输入（视觉、姿态、自车信息）以增强行为理解能力。
• 识别在行人意图预测中多模态特征融合的最优策略（早期、晚期、分层或混合）。
• 通过全面的消融实验与对比实验，在JAAD基准上验证模型的优越性。

提出的方法

• 模型使用2D卷积神经网络（CNN）和门控循环单元（GRUs）对RGB视频序列和语义分割图中的时空特征进行编码。
• 将非视觉特征（如行人边界框、姿态关键点、自车速度）作为额外输入通道引入。
• 采用混合特征融合策略，通过注意力机制结合早期、晚期与分层融合，以优化跨模态交互。
• 应用空间-时间注意力模块，动态加权时序与空间上的相关特征，提升上下文感知能力。
• 在JAAD数据集上端到端训练模型，使用交叉熵损失进行二分类（过街 vs. 不过街）。
• 通过大量消融实验比较不同视觉编码器（3D CNN vs. VGG + GRU）、融合类型与输入配置，以确定最优模型结构。

实验结果

研究问题

• RQ1 引入全局场景上下文（如可行驶区域的语义分割）在多大程度上提升行人过街意图预测性能？
• RQ2 在多模态行人意图预测中，哪种特征融合策略——早期、晚期、分层或混合——表现最佳？
• RQ3 不同视觉编码器（3D CNN vs. 2D CNN + RNN）对模型性能与鲁棒性有何影响？
• RQ4 非视觉输入（如自车速度、姿态）的引入在多大程度上提升了预测准确率？
• RQ5 在JAAD基准上，该模型相较于最先进基线方法PCPA，在准确率、AUC与F1分数方面表现如何？

主要发现

• 所提模型在JAAD所有数据集上达到83%的准确率与82%的AUC，优于所有基线模型及先前最先进方法。
• 混合融合策略显著提升性能，相比最佳基线模型，F1分数提升5.5%。
• 引入全局上下文（语义分割）使召回率提升10%，表明对实际过街事件的检测能力更强。
• 采用VGG + GRU视觉编码器结合混合融合策略的模型达到最高准确率（83%）与AUC（82%），证明其优于3D CNN及其他融合策略。
• 消融实验证实，全局上下文与基于注意力的融合机制对处理遮挡、视野不良及行人运动模糊具有关键作用。
• 在70%的定性测试案例中，该模型优于PCPA，尤其在方向模糊、遮挡或低光照条件下表现更优。