[论文解读] Saliency Guided End-to-End Learning for Weakly Supervised Object Detection

Baisheng Lai, Xiaojin Gong|arXiv (Cornell University)|Jun 21, 2017

Advanced Neural Network Applications参考文献 21被引用 16

一句话总结

本文提出了一种基于显著性引导的端到端弱监督目标检测方法，利用类别特定的显著性图，在仅使用图像级别标签的情况下提升定位精度。通过结合对高置信度候选框的显式监督以及一个嵌入的显著性预测子网络，该方法在PASCAL VOC 2007和2012上实现了最先进性能，PASCAL VOC 2012测试集上的平均检测AP为40.6%，CorLoc达到64.2%。

ABSTRACT

Weakly supervised object detection (WSOD), which is the problem of learning detectors using only image-level labels, has been attracting more and more interest. However, this problem is quite challenging due to the lack of location supervision. To address this issue, this paper integrates saliency into a deep architecture, in which the location in- formation is explored both explicitly and implicitly. Specifically, we select highly confident object pro- posals under the guidance of class-specific saliency maps. The location information, together with semantic and saliency information, of the selected proposals are then used to explicitly supervise the network by imposing two additional losses. Meanwhile, a saliency prediction sub-network is built in the architecture. The prediction results are used to implicitly guide the localization procedure. The entire network is trained end-to-end. Experiments on PASCAL VOC demonstrate that our approach outperforms all state-of-the-arts.

研究动机与目标

• 为解决仅有图像级别标签而缺乏精确定位监督的弱监督目标检测（WSOD）挑战。
• 通过将预训练CNN提取的显著性信息整合到端到端深度学习框架中，提升检测性能。
• 通过基于显著性图引导的高置信度目标候选框显式监督，以及通过专用显著性预测子网络隐式引导网络，提升定位精度。
• 通过引入多模态监督（语义、位置和显著性），相比基线方法实现更好的泛化能力并避免过拟合。

提出的方法

• 该方法基于类别特定的显著性图中高置信度预测，选择类别特定的目标候选框（称为'种子'），以提供强有力的定位线索。
• 引入两种显式正则化损失：一种利用所选种子的位置、语义和显著性特征来监督主网络，另一种来自专用的显著性预测子网络。
• 显著性预测子网络与主检测器端到端联合训练，其输出调制每个候选框的置信度，突出可能包含目标的区域。
• 整个架构采用端到端方式训练，实现检测、分类和显著性预测的联合优化。
• 该方法采用VGG-16作为主干网络，并应用多任务学习，损失函数包括检测、分类和显著性预测。

实验结果

研究问题

• RQ1 预训练CNN生成的类别特定显著性图是否能有效引导弱监督目标检测中的目标定位？
• RQ2 通过显式和隐式监督整合显著性信息，是否能相比标准弱监督基线方法提升检测性能？
• RQ3 采用显著性引导候选框选择的端到端训练策略，是否能减少过拟合并提升WSOD中的泛化能力？
• RQ4 在平均平均精度和定位精度方面，该方法与最先进弱监督检测器相比表现如何？

主要发现

• 所提出的SGWSOD方法在PASCAL VOC 2012测试集上实现了40.6%的平均检测AP，相比之前SOTA方法WCCN提升约3个百分点。
• 在PASCAL VOC 2012测试集上，该方法实现了64.2%的CorLoc分数，显著优于基线WSDDN及其他近期方法。
• 模型的集成版本在VOC 2012上实现了91.8%的分类AP，表明其具备强大的泛化能力和鲁棒性。
• 该方法在'bike'、'car'、'cat'、'dog'和'person'等具有挑战性的类别上均表现出一致的性能提升，表明对小尺寸或复杂对象的定位能力更优。
• 消融实验证实，对显著性引导种子的显式监督与来自显著性子网络的隐式引导相结合，性能优于单独使用任一组件。