[论文解读] Multiple Instance Curriculum Learning for Weakly Supervised Object Detection

Siyang Li, Xiangxin Zhu+3 more|arXiv (Cornell University)|Nov 25, 2017

Image Retrieval and Classification Techniques参考文献 34被引用 11

一句话总结

本文提出了一种弱监督目标检测方法——多实例课程学习（MICL），通过引入语义分割来引导检测器避免关注判别性局部区域。该方法利用检测器与分割器预测之间的一致性，自动选择简单样本进行训练，逐步推进至更难的样本，从而在PASCAL VOC上实现SOTA性能，较基线方法mAP提升10.6%。

ABSTRACT

When supervising an object detector with weakly labeled data, most existing approaches are prone to trapping in the discriminative object parts, e.g., finding the face of a cat instead of the full body, due to lacking the supervision on the extent of full objects. To address this challenge, we incorporate object segmentation into the detector training, which guides the model to correctly localize the full objects. We propose the multiple instance curriculum learning (MICL) method, which injects curriculum learning (CL) into the multiple instance learning (MIL) framework. The MICL method starts by automatically picking the easy training examples, where the extent of the segmentation masks agree with detection bounding boxes. The training set is gradually expanded to include harder examples to train strong detectors that handle complex images. The proposed MICL method with segmentation in the loop outperforms the state-of-the-art weakly supervised object detectors by a substantial margin on the PASCAL VOC datasets.

研究动机与目标

• 解决弱监督目标检测器因缺乏定位监督而过度关注判别性局部区域（如猫的面部）而非完整物体的问题。
• 通过将语义分割网络整合到训练循环中，提升检测器的泛化能力与定位精度。
• 设计一种课程学习策略，避免引入误导性的难样本，且无需对样本难度进行显式标注。
• 证明检测器与分割器预测之间的一致性可作为可靠、自动的样本简单度度量。

提出的方法

• 该方法利用当前检测器生成的显著性图生成分割种子，并通过“种子、扩展与约束（SEC）”算法将其扩展为完整掩码。
• 利用分割掩码在重训练过程中引导检测器，确保其学习完整物体的边界，而非仅关注判别性局部区域。
• 通过选择检测器预测与分割掩码边界高度一致的训练样本构建课程，表明其定位可靠性高。
• 训练过程采用迭代方式：先通过显著性图与分割结果进行重新定位，再在当前简单样本子集上进行重训练，逐步扩展至更难样本。
• 在多实例学习（MIL）框架中引入课程学习（CL），每轮训练所选样本子集基于一致性判断，而非随机采样。
• 最终检测器在收敛后直接应用于测试图像，无需后处理。

实验结果

研究问题

• RQ1 将语义分割整合到弱监督目标检测中，能否减少检测器对判别性局部区域的定位偏差？
• RQ2 在使用弱监督生成的噪声伪标签样本进行训练时，课程学习是否能提升检测器性能？
• RQ3 检测器与分割器预测之间的一致性能否作为有效且自监督的样本难度度量？
• RQ4 在标准基准上，所提出的MICL方法与SOTA弱监督检测器相比，mAP与CorLoc表现如何？

主要发现

• MICL在PASCAL VOC 2012测试集上达到85.9%的mAP，显著优于之前SOTA方法（ConLoc），提升8.5个百分点。
• 在VOC07数据集上，与无课程学习的基线相比，MICL使CorLoc提升18.0个百分点，mAP提升10.6个百分点。
• 仅使用分割提示（无课程学习）即可使mAP提升4.4个百分点，CorLoc提升10.9个百分点，优于初始检测器。
• 若移除课程学习，mAP相比在自动选择的简单样本子集上训练下降1.7%，表明样本质量较数量更为关键。
• 消融实验表明，检测器与分割器预测的一致性与更精确的定位相关，能有效减少过估计与欠估计误差。
• 该方法在‘aeroplane’类别上达到90.6%的CorLoc，在‘motorbike’类别上达到85.5%，表明在挑战性类别上表现优异。