[论文解读] PePScenes: A Novel Dataset and Baseline for Pedestrian Action Prediction in 3D

Amir Rasouli, Tiffany Yau+4 more|arXiv (Cornell University)|Dec 14, 2020

Autonomous Vehicle Technology and Safety参考文献 20被引用 8

一句话总结

本文提出了PePScenes，一个通过在nuScenes数据集中增加每帧的2D/3D边界框和行人过街行为标注而构建的新型3D行人动作预测数据集。该研究提出了一种结合视觉、地图和轨迹模态的混合深度学习模型，在过街预测任务上实现了48%的F1分数，达到当前最先进水平，证明了多模态融合能显著提升动作预测的准确性。

ABSTRACT

Predicting the behavior of road users, particularly pedestrians, is vital for safe motion planning in the context of autonomous driving systems. Traditionally, pedestrian behavior prediction has been realized in terms of forecasting future trajectories. However, recent evidence suggests that predicting higher-level actions, such as crossing the road, can help improve trajectory forecasting and planning tasks accordingly. There are a number of existing datasets that cater to the development of pedestrian action prediction algorithms, however, they lack certain characteristics, such as bird's eye view semantic map information, 3D locations of objects in the scene, etc., which are crucial in the autonomous driving context. To this end, we propose a new pedestrian action prediction dataset created by adding per-frame 2D/3D bounding box and behavioral annotations to the popular autonomous driving dataset, nuScenes. In addition, we propose a hybrid neural network architecture that incorporates various data modalities for predicting pedestrian crossing action. By evaluating our model on the newly proposed dataset, the contribution of different data modalities to the prediction task is revealed. The dataset is available at https://github.com/huawei-noah/PePScenes.

研究动机与目标

• 为解决自动驾驶中缺乏3D、地图感知且带有高层动作标注的行人行为预测数据集的问题。
• 开发一种融合视觉、地图和轨迹数据的多模态深度学习模型，以实现准确的行人过街动作预测。
• 评估不同数据模态（如场景图像、语义地图、轨迹）对动作预测性能的贡献。
• 为未来3D行人动作预测研究提供基准数据集和基线模型。

提出的方法

• 该数据集在nuScenes基础上扩展了63.4万条每帧的行人行为标注和452万条边界框标注，包含3D位置信息及2D/3D框标签。
• 采用一种混合神经网络架构，融合三种模态：场景图像（300×300）、语义地图（30×30米，3通道）和行人/自车轨迹（x,z坐标及速度）。
• 视觉特征通过两个并行的Conv2D流网络提取（滤波器大小分别为[32,3,3]、[64,3,2]、[128,3,2]和[64,3,3]、[128,3,2]、[256,3,2]），随后进行全局平均池化。
• 轨迹和自车状态特征通过两个独立的128单元LSTM编码，最终表示通过拼接视觉特征与动态特征形成。
• 融合后的表示通过两层全连接层（含0.5比例的dropout）进行动作分类，损失函数采用二元交叉熵。
• 模型采用RMSProp进行端到端训练，批量大小为8，学习率为5×10⁻⁵，共训练50个周期，并使用类别权重处理数据不平衡问题。

实验结果

研究问题

• RQ1 不同数据模态（视觉、地图、轨迹）对行人过街动作预测准确率的贡献如何？
• RQ2 多模态深度学习模型是否能在3D行人动作预测中超越单模态基线模型？
• RQ3 在2D图像或仅轨迹模型的基础上，引入3D场景上下文和语义地图能在多大程度上提升动作预测性能？
• RQ4 所提出的模型在3D、地图感知的数据集上与SOTA方法（如SF-GRU）相比表现如何？

主要发现

• 所提出的混合模型在行人过街预测任务中取得了48%的F1分数，显著优于单模态基线模型。
• 仅使用轨迹数据时，模型F1分数为20%，表明缺乏视觉或地图上下文时预测能力有限。
• 结合场景和地图图像后，F1分数提升至35%，表明视觉上下文显著增强了动作识别能力。
• 在地图+场景特征基础上加入轨迹数据，F1分数进一步提升至43%，证明动态运动模式对预测至关重要。
• 完整模型（融合所有模态）达到最高的AUC（0.71）和47%的精确率，证实多模态融合具有显著优势。
• 该数据集包含719名行人，其中149名有行为标注，共包含106万条行人边界框标注，分布在10Hz的帧中。