[论文解读] STCrowd: A Multimodal Dataset for Pedestrian Perception in Crowded Scenes

Peishan Cong, Xinge Zhu+8 more|arXiv (Cornell University)|Apr 3, 2022

Advanced Neural Network Applications被引用 5

一句话总结

本文提出STCrowd，一个大规模多模态数据集，包含219K个在高度拥挤场景中3D标注的行人实例，同步包含激光雷达点云和相机图像。提出了一种新型方法——密度感知分层热力图聚合（DHA），通过利用空间注意力机制和多层级热力图，提升基于激光雷达的行人检测与跟踪性能，在STCrowd数据集上达到最先进水平，并在不同主干网络和任务上具有良好泛化能力。

ABSTRACT

Accurately detecting and tracking pedestrians in 3D space is challenging due to large variations in rotations, poses and scales. The situation becomes even worse for dense crowds with severe occlusions. However, existing benchmarks either only provide 2D annotations, or have limited 3D annotations with low-density pedestrian distribution, making it difficult to build a reliable pedestrian perception system especially in crowded scenes. To better evaluate pedestrian perception algorithms in crowded scenarios, we introduce a large-scale multimodal dataset,STCrowd. Specifically, in STCrowd, there are a total of 219 K pedestrian instances and 20 persons per frame on average, with various levels of occlusion. We provide synchronized LiDAR point clouds and camera images as well as their corresponding 3D labels and joint IDs. STCrowd can be used for various tasks, including LiDAR-only, image-only, and sensor-fusion based pedestrian detection and tracking. We provide baselines for most of the tasks. In addition, considering the property of sparse global distribution and density-varying local distribution of pedestrians, we further propose a novel method, Density-aware Hierarchical heatmap Aggregation (DHA), to enhance pedestrian perception in crowded scenes. Extensive experiments show that our new method achieves state-of-the-art performance for pedestrian detection on various datasets.

研究动机与目标

• 为解决当前缺乏大规模、高密度人群场景下具有丰富标注的3D行人感知数据集的问题。
• 实现在高度遮挡、密集人群环境中对行人检测、跟踪和轨迹预测的稳健评估。
• 开发一种能够有效处理密集人群场景中行人稀疏全局分布与密度变化的局部分布的方法。
• 为仅使用激光雷达、仅使用图像以及传感器融合的感知任务提供全面的基线和评估指标。

提出的方法

• 提出密度感知分层热力图聚合（DHA）方法，一种双模块框架，结合空间注意力模块（SAM）与分层热力图聚合（HH）模块。
• 利用空间注意力模块聚焦网络在相关前景区域的计算容量，提升对密集和遮挡区域的关注度。
• 采用分层热力图聚合机制，通过多层级特征图在多个空间尺度上建模行人密度变化。
• 将DHA集成至基于激光雷达的检测主干网络（如Pillar-Center、Voxel-Center、PointAugmenting）中，实现端到端训练与推理。
• 通过引入速度预测头，将DHA适配至3D跟踪任务，并在基于CenterPoint的模型上评估性能。
• 通过在STCrowd数据集上使用标准模型（LSTM、Social-LSTM、StarNet）将框架扩展至轨迹预测任务。

Figure 1 : STCrowd provides 2D/3D image annotations, 3D point cloud annotations, and joint annotations for consecutive frames. Note that STCrowd contains a large quantity of crowded scenes with severe occlusions, which pose great challenges to pedestrian detection and tracking.

实验结果

研究问题

• RQ1 具有密集3D标注的多模态数据集在多大程度上能提升对高度拥挤场景下行人感知的评估能力？
• RQ2 专为密度变化行人分布设计的方法在遮挡密集人群场景中，能在多大程度上提升检测与跟踪性能？
• RQ3 可学习的注意力机制与分层聚合机制是否能在高密度人群场景中超越标准检测主干网络？
• RQ4 所提出的DHA方法在不同基于激光雷达的检测与跟踪架构之间是否具备良好的泛化能力？
• RQ5 在复杂人群环境中，多模态融合与DHA方法在轨迹预测任务上的性能增益如何？

主要发现

• 在Pillar-Center主干网络下，所提出的DHA方法在STCrowd验证集上达到0.617的平均精度（mAP），比基线提升5.6%。
• 消融实验表明，空间注意力模块与分层热力图组件均具有显著贡献，DHA在Voxel-Center主干上使mAP相比基线提升3.5%。
• 在3D跟踪任务中，DHA将MOTA从基线的0.342提升至0.368，表明其在不同任务间具有强大泛化能力。
• 即使仅使用激光雷达特征，该方法仍表现出具有竞争力的性能，优于部分传感器融合基线，表明其在处理遮挡方面的有效性。
• 在轨迹预测任务中，使用STCrowd数据集的StarNet模型达到FDE为0.983、MDE为0.404，表明该数据集支持对人群动力学的高级建模。
• STCrowd数据集包含219K个行人实例，平均每帧约20人，极端情况下超过30人，显著高于nuScenes或KITTI数据集的密度。

Figure 2 : Scene examples of STCrowd with different backgrounds and weather, including clear weather (the first row), cloudy and rainy conditions (the second row). Note that the last figure shows the poor captured LiDAR point cloud due to the rainy conditions.