[论文解读] Unsupervised Hard Example Mining from Videos for Improved Object Detection

SouYoung Jin, Aruni RoyChowdhury+5 more|arXiv (Cornell University)|Aug 13, 2018

Video Surveillance and Tracking Methods参考文献 54被引用 9

一句话总结

本文提出一种无监督方法，通过识别时间上孤立的检测结果——即所谓的“检测器闪烁”（detector flickers）——从无标签视频数据中挖掘难负样本和难正样本。这些‘闪烁’检测结果很可能是误报或漏检。通过在这些自动收集的难样本上微调目标检测器，该方法在多个数据集和模型架构上显著提升了检测性能，包括人脸检测和行人检测，在 MS-COCO 上的平均精度（AP）最高提升了 1.5 个百分点。

ABSTRACT

Important gains have recently been obtained in object detection by using training objectives that focus on {\em hard negative} examples, i.e., negative examples that are currently rated as positive or ambiguous by the detector. These examples can strongly influence parameters when the network is trained to correct them. Unfortunately, they are often sparse in the training data, and are expensive to obtain. In this work, we show how large numbers of hard negatives can be obtained {\em automatically} by analyzing the output of a trained detector on video sequences. In particular, detections that are {\em isolated in time}, i.e., that have no associated preceding or following detections, are likely to be hard negatives. We describe simple procedures for mining large numbers of such hard negatives (and also hard {\em positives}) from unlabeled video data. Our experiments show that retraining detectors on these automatically obtained examples often significantly improves performance. We present experiments on multiple architectures and multiple data sets, including face detection, pedestrian detection and other object categories.

研究动机与目标

• 为解决目标检测中人工收集难负样本的稀缺性与高成本问题。
• 开发一种无监督、可扩展的方法，利用视频序列和预训练检测器挖掘难样本。
• 通过在无标签视频中自动挖掘的难正样本和难负样本上微调检测器，提升检测器性能。
• 在多种目标类别、模型架构和基准数据集上验证该方法的有效性。

提出的方法

• 通过识别在某一帧中出现但相邻帧中无前后检测结果的检测结果，来检测时间上孤立的检测——即‘闪烁’。
• 使用预训练的目标检测器在大规模无标签视频数据上生成检测结果，然后应用时间滤波提取‘闪烁’检测。
• 将时间上孤立的检测结果视为难负样本（若为误报）或难正样本（若为漏检），用于重新训练。
• 使用标准训练流程，在原始标注数据与挖掘出的难样本的并集中微调检测器。
• 将该方法应用于多个数据集（WIDER Face、Caltech Pedestrian、MS-COCO）和多种架构（Faster R-CNN、基于 VGG16 的模型）。
• 使用置信度阈值（例如 0.8）过滤检测结果，确保仅使用高置信度的‘闪烁’检测用于挖掘。

实验结果

研究问题

• RQ1 视频序列中时间上孤立的检测结果是否能可靠地指示目标检测器的难负样本？
• RQ2 从无标签视频中无监督挖掘难样本是否能带来检测器性能的可测量提升？
• RQ3 该方法在不同目标类别（如人脸、行人、狗和火车）上的有效性如何？
• RQ4 该方法是否可泛化至其他检测架构和数据集，而无需修改网络结构？

主要发现

• 在 WIDER Face 数据集上，使用挖掘出的难负样本后，AP 提升了 1.5 个百分点（从 26.9 提升至 28.1）。
• 在 Caltech Pedestrian 数据集上，使用挖掘出的难负样本微调后，AP 提升了 1.5 个百分点（从 33.9 提升至 35.4）。
• 在 MS-COCO 上，该方法使‘狗’类别在测试集上的 AP 从 25.3 提升至 26.4，‘火车’类别的 AP 从 33.2 提升至 33.7。
• 该方法在多种架构和数据集上均实现了稳定的性能提升，涵盖人脸、行人、狗和火车的检测任务。
• 该方法具有高度可扩展性且完全自动化，可从数小时的无标签视频中挖掘出数万个难样本。
• 即使在 YouTube 视频与训练数据之间存在显著领域差异的情况下，该方法仍优于基线模型，表明其对分布偏移具有鲁棒性。