[论文解读] Relational Learning for Joint Head and Human Detection

Cheng Chi, Shifeng Zhang+4 more|arXiv (Cornell University)|Sep 24, 2019

Video Surveillance and Tracking Methods参考文献 39被引用 5

一句话总结

该论文提出了一种名为JointDet的新颖联合头检测与人体检测框架，通过引入头-体关系判别模块（RDM）实现头与身体之间的关系学习，以减少头检测中的误报，并在人群密集场景中恢复被抑制的人体检测。该方法在CrowdHuman、CityPersons和Caltech-USA基准上实现了最先进性能，所使用的数据集为新标注的高质量数据集。

ABSTRACT

Head and human detection have been rapidly improved with the development of deep convolutional neural networks. However, these two tasks are often studied separately without considering their inherent correlation, leading to that 1) head detection is often trapped in more false positives, and 2) the performance of human detector frequently drops dramatically in crowd scenes. To handle these two issues, we present a novel joint head and human detection network, namely JointDet, which effectively detects head and human body simultaneously. Moreover, we design a head-body relationship discriminating module to perform relational learning between heads and human bodies, and leverage this learned relationship to regain the suppressed human detections and reduce head false positives. To verify the effectiveness of the proposed method, we annotate head bounding boxes of the CityPersons and Caltech-USA datasets, and conduct extensive experiments on the CrowdHuman, CityPersons and Caltech-USA datasets. As a consequence, the proposed JointDet detector achieves state-of-the-art performance on these three benchmarks. To facilitate further studies on the head and human detection problem, all new annotations, source codes and trained models will be public.

研究动机与目标

• 解决由于手部和肘部等特征导致头检测中高误报率的问题。
• 改善在非极大值抑制（NMS）会抑制大量有效检测的拥挤场景中的人体检测性能。
• 利用头与人体之间的固有关系，提升两项检测任务的准确性。
• 提供高质量、新标注的数据集，以支持头检测与人体检测的未来研究。

提出的方法

• JointDet使用单尺度、单长宽比锚点的区域建议网络（RPN），高效生成头检测建议。
• 应用统计的头-体长宽比于头检测建议，以生成对应的人体建议，从而加速训练与推理过程。
• 通过两个并行的R-CNN分支处理头与人体建议，生成初始检测结果。
• 引入头-体关系判别模块（RDM），基于特征判断头与人体建议是否属于同一人。
• 利用RDM输出的分类结果，在后处理策略中抑制误检的头检测，并恢复被NMS丢弃的人体检测。
• 通过利用头与人体之间的上下文关系，提升在遮挡与密集场景下的检测鲁棒性。

实验结果

研究问题

• RQ1 头与人体之间的关系学习是否能同时提升两项检测任务的性能？
• RQ2 头与人体之间的关系是否可用于减少头检测中的误报？
• RQ3 能否利用头检测作为代理，有效召回拥挤场景中被抑制的人体检测？
• RQ4 使用高质量、新标注的数据集是否能显著提升基准数据集上的检测性能？

主要发现

• 所提出的JointDet在CrowdHuman、CityPersons和Caltech-USA数据集上均实现了最先进性能，优于现有方法。
• 在Caltech-USA数据集上，该方法在Reasonable子集上实现了2.95%的MR⁻²得分，超越所有先前的最先进方法。
• 使用新重新标注的Caltech-USA数据集后，FPN基线检测器的MR⁻²得分从4.31%（使用优化标注）降至3.26%（在新标注上训练），表明标注质量更高。
• 在新测试集上，MR⁻²得分从16.52%（使用优化标注）降至14.26%（在新标注上训练），进一步证实了新数据集的质量。
• 基于RDM的后处理策略成功减少了头检测的误报，并恢复了大量被NMS抑制的人体检测，如在密集场景中的定性结果所示。
• 新标注包含32,273个训练和1,123个测试的标注框，显著多于原始优化版本（16,376和912个），从而支持更稳健的评估基准。