[论文解读] PS-RCNN: Detecting Secondary Human Instances in a Crowd via Primary Object Suppression

Zheng Ge, Zequn Jie+3 more|arXiv (Cornell University)|Mar 16, 2020

Video Surveillance and Tracking Methods参考文献 20被引用 6

一句话总结

PS-RCNN 是一种两阶段目标检测框架，通过使用主 R-CNN（P-RCNN）检测可见的人体实例并利用人形掩码抑制它们，从而在拥挤场景中提升密集人体检测性能，使次级 R-CNN（S-RCNN）能够检测到严重遮挡的人体。该方法在 CrowdHuman 数据集上实现了 2.92% 的 AP 提升，在 WiderPerson 上也取得了类似的增益。

ABSTRACT

Detecting human bodies in highly crowded scenes is a challenging problem. Two main reasons result in such a problem: 1). weak visual cues of heavily occluded instances can hardly provide sufficient information for accurate detection; 2). heavily occluded instances are easier to be suppressed by Non-Maximum-Suppression (NMS). To address these two issues, we introduce a variant of two-stage detectors called PS-RCNN. PS-RCNN first detects slightly/none occluded objects by an R-CNN module (referred as P-RCNN), and then suppress the detected instances by human-shaped masks so that the features of heavily occluded instances can stand out. After that, PS-RCNN utilizes another R-CNN module specialized in heavily occluded human detection (referred as S-RCNN) to detect the rest missed objects by P-RCNN. Final results are the ensemble of the outputs from these two R-CNNs. Moreover, we introduce a High Resolution RoI Align (HRRA) module to retain as much of fine-grained features of visible parts of the heavily occluded humans as possible. Our PS-RCNN significantly improves recall and AP by 4.49% and 2.92% respectively on CrowdHuman, compared to the baseline. Similar improvements on Widerperson are also achieved by the PS-RCNN.

研究动机与目标

• 解决在弱视觉线索和 NMS 抑制导致性能下降的拥挤场景中，检测严重遮挡人体实例的挑战。
• 克服标准检测器因特征抑制和基于 IoU 的 NMS 而无法检测遮挡人体的局限性。
• 在不增加误检率的前提下，提升对次级（严重遮挡）人体实例的检测召回率和 AP。
• 设计一种双分支 R-CNN 架构，将可见人体实例与遮挡人体实例的检测解耦，实现针对性学习。
• 通过高分辨率 RoI 对齐（HRRA）模块和 COCOPerson 提供的高质量实例掩码，增强遮挡人体的特征表示。

提出的方法

• 使用主 R-CNN（P-RCNN）通过标准 Faster R-CNN 训练，检测轻微或非遮挡的人体实例。
• 从 P-RCNN 的检测结果生成人形二值掩码，用于抑制特征图中这些实例的特征，从而让遮挡人体的特征得以凸显。
• 将抑制掩码应用于特征图（而非输入图像），以保留空间分辨率并提升推理效率。
• 在掩码后的特征图上训练次级 R-CNN（S-RCNN），以检测严重遮挡的人体实例，其中正样本提议的 IoU 阈值设定为 ≥ 0.6，以提升定位精度。
• 集成高分辨率 RoI 对齐（HRRA），从最高分辨率的特征层提取细粒度特征，保留可见身体部位的细节。
• 在 COCOPerson 上进行微调，以提升掩码质量并增强 S-RCNN 的性能。

实验结果

研究问题

• RQ1 是否可以通过将可见人体与遮挡人体检测分离的两阶段检测器，提升拥挤场景中的召回率和 AP？
• RQ2 通过人形掩码抑制主人体实例，是否能提升对严重遮挡次级人体实例的检测性能？
• RQ3 高分辨率 RoI 对齐（HRRA）是否能在不增加计算成本的前提下，改善遮挡人体的特征表示？
• RQ4 S-RCNN 中正样本提议的 IoU 阈值选择如何影响检测性能？
• RQ5 所提出的 PS-RCNN 框架是否能在 WiderPerson 等具有多样化遮挡模式和标注类型的跨数据集上实现泛化？

主要发现

• 与使用 FPN 的基线 Faster R-CNN 相比，PS-RCNN 在 CrowdHuman 数据集上实现了 2.92% 的 AP 提升和 4.49% 的召回率提升。
• 在 WiderPerson 上，PS-RCNN 相较于基线 Faster R-CNN 实现了 1.63% 的 AP 提升和 2.01% 的召回率改善。
• HRRA 与 COCOPerson 微调的结合在 CrowdHuman 上使 AP 提升了 2.41%，证明了增强特征质量和掩码质量的有效性。
• 在特征图上应用人形掩码的性能与在输入图像上应用相当，但时间效率更优。
• S-RCNN 生成了大量高置信度预测（分数 > 0.5），表明该方法不依赖于 Soft-NMS 式的低置信度重复预测。
• S-RCNN 中正样本提议的 IoU 阈值设为 0.6 时，AP 达到最佳值 87.94%，优于 0.5 和 0.7，表明该设置在定位精度与提议质量之间实现了最佳平衡。