[论文解读] What's in the Black Box? The False Negative Mechanisms Inside Object Detectors

Dimity Miller, Peyman Moghadam+3 more|arXiv (Cornell University)|Mar 15, 2022

Advanced Neural Network Applications参考文献 26被引用 21

一句话总结

本文识别出两阶段（Faster R-CNN）和单阶段（RetinaNet）基于锚框的目标检测器中的五种内部漏检机制，提出一个框架以诊断检测器为何无法检测到目标。研究发现，这些漏检机制在基准数据集（如 COCO）与真实机器人应用场景（如 SubT、iCubWorldT）之间存在显著差异，尽管在基准数据集上表现优异，但在机器人场景中背景分类仍是主导因素。

ABSTRACT

In object detection, false negatives arise when a detector fails to detect a target object. To understand why object detectors produce false negatives, we identify five 'false negative mechanisms', where each mechanism describes how a specific component inside the detector architecture failed. Focusing on two-stage and one-stage anchor-box object detector architectures, we introduce a framework for quantifying these false negative mechanisms. Using this framework, we investigate why Faster R-CNN and RetinaNet fail to detect objects in benchmark vision datasets and robotics datasets. We show that a detector's false negative mechanisms differ significantly between computer vision benchmark datasets and robotics deployment scenarios. This has implications for the translation of object detectors developed for benchmark datasets to robotics applications. Code is publicly available at https://github.com/csiro-robotics/fn_mechanisms

研究动机与目标

• 理解目标检测器产生漏检的原因，超越黑箱错误分类的范畴。
• 诊断导致目标检测器漏检的具体内部组件故障。
• 研究标准计算机视觉基准与真实世界机器人部署之间漏检机制的差异。
• 为机器人应用中的检测器设计与训练策略提供指导，以提升鲁棒性。

提出的方法

• 提出一个框架，用于识别并量化目标检测器架构内部的五种不同漏检机制。
• 使用基于锚框的架构分析两阶段（Faster R-CNN）和单阶段（RetinaNet）检测器。
• 根据哪个内部组件失效对漏检进行分类：候选框生成过程、区域回归器、背景分类器、分类器校准或类别间分类。
• 使用基准数据集（COCO、ExDark）和机器人数据集（iCubWorldT、CSIRO Data61 SubT）进行对比分析。
• 评估主干网络（ResNet50、ResNet101、ResNeXt101）对漏检机制分布的影响。
• 采用 IoU 阈值和检测分数分析，以隔离检测器组件内的故障点。

实验结果

研究问题

• RQ1 导致目标检测器漏检的具体内部故障机制是什么？
• RQ2 这些漏检机制在标准基准数据集与真实世界机器人数据集之间有何差异？
• RQ3 主干网络架构在多大程度上影响漏检机制的分布？
• RQ4 为何检测器在机器人数据集上表现更差，尽管在基准数据集上 mAP 分数很高？
• RQ5 能否利用故障机制指导针对性的数据收集或模型微调？

主要发现

• 在 COCO 上，主导的漏检机制是背景分类（Faster R-CNN 为 58.2%，RetinaNet 为 77.9%）；而在 CSIRO Data61 SubT 上，该比例上升至 82.8%（Faster R-CNN）和 94.6%（RetinaNet）。
• 在 iCubWorldT 上，类别间分类成为首要机制，相比 COCO 分别提高了 44.2%（Faster R-CNN）和 54.6%（RetinaNet）。
• 在 SubT 和 iCubWorldT 等机器人数据集中，漏检机制无法通过 COCO 上的表现可靠预测，表明基于基准的改进措施转移能力差。
• 主干网络（ResNet50、ResNet101、ResNeXt101）对漏检机制分布的影响极小，表明架构设计与训练策略更具决定性。
• 尽管在 COCO 上 mAP 很高，但解决非背景机制仅在 COCO 上使漏检减少 41.2%（Faster R-CNN），而在 SubT 上仅减少 17.5%，凸显了以基准为导向的修复措施转移能力有限。
• 在背景分类失败的情况下，区域建议网络（RPN）能可靠检测到目标存在性，表明 RPN 输出可用于触发潜在漏检的预警系统。