[论文解读] The Problem of Fragmented Occlusion in Object Detection

Julian Pegoraro, Roman Pflugfelder|arXiv (Cornell University)|Apr 27, 2020

Advanced Neural Network Applications参考文献 10被引用 7

一句话总结

本文通过在 COCO 数据集中添加人工树木以模拟树叶遮挡，解决了物体检测中常见的碎片化遮挡问题——该问题在绿色边境监控场景中尤为突出。在增强后的数据上微调 Mask R-CNN 可提升对碎片化遮挡人员的检测性能，尤其在轻度至中度遮挡情况下表现更优，但边界框标注在严重遮挡情况下仍显不足。

ABSTRACT

Object detection in natural environments is still a very challenging task, even though deep learning has brought a tremendous improvement in performance over the last years. A fundamental problem of object detection based on deep learning is that neither the training data nor the suggested models are intended for the challenge of fragmented occlusion. Fragmented occlusion is much more challenging than ordinary partial occlusion and occurs frequently in natural environments such as forests. A motivating example of fragmented occlusion is object detection through foliage which is an essential requirement in green border surveillance. This paper presents an analysis of state-of-the-art detectors with imagery of green borders and proposes to train Mask R-CNN on new training data which captures explicitly the problem of fragmented occlusion. The results show clear improvements of Mask R-CNN with this new training strategy (also against other detectors) for data showing slight fragmented occlusion.

研究动机与目标

• 研究碎片化遮挡在物体检测中的挑战，特别是绿色边境监控场景下的表现。
• 指出当前最先进检测器在碎片化遮挡场景下表现不佳，此类遮挡与部分遮挡存在本质差异。
• 提出一种数据增强策略，通过在 COCO 图像上叠加人工生成的树木，显式建模碎片化遮挡。
• 设计一种新评估指标，以弥补 IoU 和多检测结果在碎片化遮挡场景下的局限性。
• 证明在增强数据上微调的 Mask R-CNN 能够提升对碎片化遮挡人员的检测性能，尤其在低至中度遮挡水平下表现更优。

提出的方法

• 从三段森林视频中提取 18,360 幅图像帧，人工标注了 33,933 个边界框，涵盖四个遮挡等级。
• 通过在物体（尤其是人员）前方叠加人工生成的树木（使用真实树干与树枝）对 Microsoft COCO 数据集进行增强。
• 利用 COCO 中的像素级分割掩码，在增强过程中保持实例级标注的一致性，确保掩码的准确性。
• 使用 Inception v2 作为主干网络，在增强后的数据集上训练 Mask R-CNN，仅关注人员实例。
• 设计一种新评估指标，通过计算相对于真实标注的最大非重叠区域，更准确地评估真正例（TP）、假正例（FP）和真负例（TN），以应对碎片化遮挡场景。
• 基于新指标绘制受试者工作特征曲线（ROC），实现尽管 IoU 值较低且存在多检测结果，仍能进行有意义的模型比较。

实验结果

研究问题

• RQ1 当前最先进物体检测器在碎片化遮挡场景下，特别是在绿色边境监控环境中表现如何？
• RQ2 通过人工植被增强数据是否能提升物体检测器对碎片化遮挡的鲁棒性？
• RQ3 为何标准评估指标（如 IoU）在碎片化遮挡场景下失效？何种替代评估策略能更准确反映检测性能？
• RQ4 在高程度碎片化遮挡下，边界框标注在多大程度上仍适用于数据标注？
• RQ5 当密集植被导致空间与结构信息严重退化时，当前检测模型存在哪些局限性？

主要发现

• 在增强后的 COCO 数据集上微调的 Mask R-CNN 在碎片化遮挡人员检测中表现明显提升，尤其在遮挡等级 L₁ 和 L₂ 下效果显著。
• 新评估指标能有效识别出即使 IoU 低至 ≈0.2 的真正例（因部分检测导致），而标准指标会将其误判为假负例。
• 在碎片化遮挡下，同一人物常被多次检测（如头部与躯干分别检测），导致标准的一对一匹配方法不可靠。
• 对于严重遮挡（L₃ 和 L₄），边界框标注变得不可行，因目标范围无法被可靠定义。
• 尽管性能有所提升，所有检测器在中度（L₂）和重度（L₃）遮挡下仍表现困难，表明当前模型对结构与空间退化缺乏足够不变性。
• 本研究揭示，当前的数据分布与标注范式不足以建模碎片化遮挡，亟需新的表示与评估框架。