[论文解读] PedHunter: Occlusion Robust Pedestrian Detector in Crowded Scenes

Cheng Chi, Shifeng Zhang+4 more|arXiv (Cornell University)|Sep 15, 2019

Video Surveillance and Tracking Methods参考文献 41被引用 8

一句话总结

PedHunter 通过使用掩码引导模块来增强特征学习（通过预测头部掩码）、采用严格的分类标准以提高正样本质量，并通过模拟遮挡的数据增强技术提高模型鲁棒性，提出了一种对遮挡具有鲁棒性的行人检测器，适用于人群密集场景——在 CityPersons、Caltech-USA 和 CrowdHuman 数据集上实现了最先进性能，且推理时无额外开销。

ABSTRACT

Pedestrian detection in crowded scenes is a challenging problem, because occlusion happens frequently among different pedestrians. In this paper, we propose an effective and efficient detection network to hunt pedestrians in crowd scenes. The proposed method, namely PedHunter, introduces strong occlusion handling ability to existing region-based detection networks without bringing extra computations in the inference stage. Specifically, we design a mask-guided module to leverage the head information to enhance the feature representation learning of the backbone network. Moreover, we develop a strict classification criterion by improving the quality of positive samples during training to eliminate common false positives of pedestrian detection in crowded scenes. Besides, we present an occlusion-simulated data augmentation to enrich the pattern and quantity of occlusion samples to improve the occlusion robustness. As a consequent, we achieve state-of-the-art results on three pedestrian detection datasets including CityPersons, Caltech-USA and CrowdHuman. To facilitate further studies on the occluded pedestrian detection in surveillance scenes, we release a new pedestrian dataset, called SUR-PED, with a total of over 162k high-quality manually labeled instances in 10k images. The proposed dataset, source codes and trained models will be released.

研究动机与目标

• 为解决在人群密集场景中因遮挡导致性能严重下降的持续性挑战。
• 在不增加推理时计算量的前提下，提高被遮挡行人的检测准确率。
• 减少因密集人群场景中正样本模糊导致的误报。
• 通过数据增强提升模型对多样化遮挡模式的鲁棒性。
• 为基于监控的遮挡行人检测建立一个新的基准数据集。

提出的方法

• 引入一种掩码引导模块，在训练过程中预测头部掩码，以增强被遮挡行人的特征表示，且不影响推理阶段。
• 采用严格的分类标准，提高正样本的 IoU 阈值，并引入抖动的地面真实框，以提升正样本质量。
• 提出一种模拟遮挡的数据增强技术，在训练过程中对真实框随机施加遮挡，以多样化遮挡模式。
• 该方法被集成到基于区域的检测框架（如带有 FPN 的 Faster R-CNN）中，掩码引导模块仅在训练阶段启用。
• 在 CityPersons、Caltech-USA、CrowdHuman 和一个新数据集 SUR-PED 上进行评估，包含超过 16.2 万个标注实例。
• 所有组件均设计为保持推理效率，避免在测试时引入任何额外计算开销。

实验结果

研究问题

• RQ1 头部级别的监督能否提升密集场景中被遮挡行人的特征判别能力？
• RQ2 通过提高 IoU 阈值和引入抖动真实框来优化正样本质量，是否能减少密集人群中的误报？
• RQ3 在训练阶段模拟遮挡是否能提升模型对真实世界遮挡模式的泛化能力？
• RQ4 所提出方法在标准基准和重度遮挡子集上与最先进检测器相比表现如何？
• RQ5 一个新构建的、高质量的基于监控的基准数据集对评估遮挡行人检测有何影响？

主要发现

• 在 CityPersons 验证集上，PedHunter 将 MR⁻² 从 11.0% 降低至 8.32%，相比之前最先进方法提升了 2.68%。
• 在 Caltech-USA 数据集上，MR⁻² 从 2.91% 降低至 2.31%，相比第二好的方法提升了 0.60%。
• 在 CrowdHuman 数据集上，PedHunter 实现了 39.5% 的 MR⁻²，相比基线模型提升 5.7%，相比之前最先进方法提升 1.6%。
• 在 CityPersons 的重度遮挡子集上，与基线相比，MR⁻² 降低了 6.21%，显著优于 RepLoss 和 OR-CNN。
• 模拟遮挡的数据增强在 CityPersons 上使 MR⁻² 降低 1.3%，在 CrowdHuman 上降低 4.1%，证明了其有效性。
• SUR-PED 数据集包含超过 16.2 万个在 1 万张监控图像中人工标注的实例，为真实监控场景下的遮挡行人检测提供了新基准。