[论文解读] Optimizing Region Selection for Weakly Supervised Object Detection

Wenhui Jiang, Thuyen Ngo+3 more|arXiv (Cornell University)|Aug 5, 2017

Advanced Neural Network Applications参考文献 22被引用 8

一句话总结

本文提出了一种弱监督目标检测的端到端优化区域选择策略，通过逐步从正样本集中过滤掉容易的背景区域并挖掘类别特定的难样本，从而提升模型的判别能力。通过将区域选择整合到每个SGD小批量训练中，该方法在PASCAL VOC 2007上实现了37.4%的mAP，相比先前基于MIL的方法提升了5.8%。

ABSTRACT

Training object detectors with only image-level annotations is very challenging because the target objects are often surrounded by a large number of background clutters. Many existing approaches tackle this problem through object proposal mining. However, the collected positive regions are either low in precision or lack of diversity, and the strategy of collecting negative regions is not carefully designed, neither. Moreover, training is often slow because region selection and object detector training are processed separately. In this context, the primary contribution of this work is to improve weakly supervised detection with an optimized region selection strategy. The proposed method collects purified positive training regions by progressively removing easy background clutters, and selects discriminative negative regions by mining class-specific hard samples. This region selection procedure is further integrated into a CNN-based weakly supervised detection (WSD) framework, and can be performed in each stochastic gradient descent mini-batch during training. Therefore, the entire model can be trained end-to-end efficiently. Extensive evaluation results on PASCAL VOC 2007, VOC 2010 and VOC 2012 datasets are presented which demonstrate that the proposed method effectively improves WSD.

研究动机与目标

• 解决弱监督下正样本区域选择精度低且多样性有限的挑战。
• 通过挖掘类别特定的难样本提升负样本质量，增强检测器的判别能力。
• 将区域选择与目标检测器训练相结合，实现在SGD更新过程中联合端到端优化。
• 通过逐步从正样本训练区域中去除容易的背景杂波，减少目标与背景之间的歧义。
• 通过在每个小批量中联合更新区域选择与检测，实现更快、更高效的训练。

提出的方法

• 在训练过程中逐步从初始正样本候选集中过滤掉容易的背景区域，以净化正样本训练集。
• 采用类别特定的难负样本挖掘策略，从被标记为负样本的图像中选择具有判别性的负样本。
• 将区域选择模块集成到基于CNN的弱监督检测框架中，并在每个SGD小批量中更新该模块。
• 利用检测器的预测结果，动态识别并从正样本集中移除容易的背景区域，从而降低歧义性。
• 在保持高召回率的同时，通过迭代式背景去除提高正样本区域的多样性与精确度。
• 联合训练目标检测器与区域选择器，实现频繁参数更新下的端到端优化。

实验结果

研究问题

• RQ1 如何优化正样本区域选择，以减少弱监督目标检测中目标与背景之间的歧义？
• RQ2 使用类别特定的难负样本对检测器的判别能力与定位精度有何影响？
• RQ3 区域选择与检测器训练能否在一个统一的端到端框架中联合优化，以提升训练效率与性能？
• RQ4 对容易背景区域的渐进式过滤在多大程度上提升了正样本训练区域的精确度与多样性？
• RQ5 与现有基于MIL的方法相比，该方法在标准基准上的mAP与CorLoc表现如何？

主要发现

• 所提方法在PASCAL VOC 2007测试集上实现了37.4%的平均平均精度（mAP），相比最佳的先前MIL方法提升了5.8%。
• 在PASCAL VOC 2010和VOC 2012上，该方法分别取得了36.0%和33.6%的mAP，显著优于当前最先进基线方法。
• 在VOC 2007上，该模型实现了57.3%的CorLoc，表明其在训练集中对真正正样本区域的定位精度更高。
• 与基线相比，该方法在20个类别中的19个上提升了检测性能，且在定位与检测精度上均有显著提升。
• 与使用完整图像CAM的CNN模型相比，该方法将CorLoc提升了10.5%，mAP提升了11.7%，证明了在区域级别进行过滤相比图像级别监督更具优势。
• 可视化结果表明，该方法能稳健地定位小尺寸及被遮挡的目标，但在边界框精度以及视觉上相似类别之间的混淆问题上仍存在挑战。