[论文解读] NMS by Representative Region: Towards Crowded Pedestrian Detection by Proposal Pairing

Xin Huang, Zheng Ge+2 more|arXiv (Cornell University)|Mar 28, 2020

Video Surveillance and Tracking Methods参考文献 29被引用 31

一句话总结

提出 R2NMS 与 Paired-Box Model，以利用可见区域在拥挤场景中实现更好的 NMS，在 CrowdHuman 与 CityPersons 上达到最先进的结果。

ABSTRACT

Although significant progress has been made in pedestrian detection recently, pedestrian detection in crowded scenes is still challenging. The heavy occlusion between pedestrians imposes great challenges to the standard Non-Maximum Suppression (NMS). A relative low threshold of intersection over union (IoU) leads to missing highly overlapped pedestrians, while a higher one brings in plenty of false positives. To avoid such a dilemma, this paper proposes a novel Representative Region NMS approach leveraging the less occluded visible parts, effectively removing the redundant boxes without bringing in many false positives. To acquire the visible parts, a novel Paired-Box Model (PBM) is proposed to simultaneously predict the full and visible boxes of a pedestrian. The full and visible boxes constitute a pair serving as the sample unit of the model, thus guaranteeing a strong correspondence between the two boxes throughout the detection pipeline. Moreover, convenient feature integration of the two boxes is allowed for the better performance on both full and visible pedestrian detection tasks. Experiments on the challenging CrowdHuman and CityPersons benchmarks sufficiently validate the effectiveness of the proposed approach on pedestrian detection in the crowded situation.

研究动机与目标

• 在高遮挡的拥挤场景中，推动改进的行人检测。
• 引入一种新型的 NMS 变体，利用可见区域以减少误检并保留真实阳性。
• 开发 PBM，使其能够联合预测全身框和可见框，并保持强相关性。
• 在 CrowdHuman 与 CityPersons 基准上展示最先进的性能。

提出的方法

• 引入 Representative Region NMS (R2NMS)，使用可见区域 IoU 来决定全身框之间的重叠。
• 开发 Paired-Box Model (PBM)，由 Paired RPN、Paired Feature Extractor 与 Paired R-CNN 组成，以从同一锚框预测全身框和可见框。
• 通过 Paired Proposal Feature Extractor (PPFE) 将成对的全身/可见提案的特征融合，以提升全身与可见行人检测。
• 使用成对样本单元进行训练，其中 ground-truth 对 Q=(F,V) 引导锚框分配与回归。
• 在 CrowdHuman 与 CityPersons 上使用 MR、AP、Recall 指标进行评估；并与 AdaptiveNMS 和 Repulsion Loss 进行对比。

实验结果

研究问题

• RQ1 通过成对框表示利用可见区域是否可以在拥挤的行人检测中改进 NMS？
• RQ2 在高遮挡场景中，R2NMS 是否在不推高误检率的前提下减少冗余检测？
• RQ3 与标准的 Faster R-CNN 基线相比，成对全身/可见框和 PPFE 能带来多少性能提升？
• RQ4 PBM+R2NMS 在全身和可见区域任务上对最先进基准（CrowdHuman、CityPersons）的影响如何？

主要发现

• R2NMS 相对于基线在检测指标（AP 与 Recall）上有提升，表明在拥挤场景中的处理更好。
• PBM 搭配 PPFE 与 R2NMS 在 CrowdHuman 上达到最先进结果，MR 从 50.42 降至 43.35，AP 提升至 89.29，Recall 提升至 93.33。
• 在 CityPersons 上，PBM 结合 mask 与 R2NMS 在合理遮挡与重遮挡子集上降低 MR（例如 R 从 13.8 降至 11.1；HO 从 59.0 降至 53.3）。
• 基于 PPFE 的特征融合，尤其是加入注意力时，明显优于简单拼接。
• R2NMS 在多种设置下提升 AP 与 Recall，而 MR 的改进取决于可见预测的质量；总体而言，该方法在拥挤检测方面具有明显优势。