[论文解读] Weakly Supervised Object Localization Using Size Estimates

Miaojing Shi, Vittorio Ferrari|arXiv (Cornell University)|Aug 15, 2016

Advanced Neural Network Applications参考文献 41被引用 13

一句话总结

本文提出了一种弱监督目标定位（WSOL）方法，通过利用目标尺寸估计来引导课程学习和提议加权，从而提升定位精度。通过按目标从大到小的顺序训练图像，并基于提议与尺寸估计的相似度进行加权，该方法在标准WSOL基础上将CorLoc提升7%，通过尺寸加权进一步提升10%，在PASCAL VOC 2007上超越了当前最先进方法。

ABSTRACT

We present a technique for weakly supervised object localization (WSOL), building on the observation that WSOL algorithms usually work better on images with bigger objects. Instead of training the object detector on the entire training set at the same time, we propose a curriculum learning strategy to feed training images into the WSOL learning loop in an order from images containing bigger objects down to smaller ones. To automatically determine the order, we train a regressor to estimate the size of the object given the whole image as input. Furthermore, we use these size estimates to further improve the re-localization step of WSOL by assigning weights to object proposals according to how close their size matches the estimated object size. We demonstrate the effectiveness of using size order and size weighting on the challenging PASCAL VOC 2007 dataset, where we achieve a significant improvement over existing state-of-the-art WSOL techniques.

研究动机与目标

• 为解决弱监督目标定位（WSOL）在小目标上表现不佳的问题，该问题通常源于早期训练迭代中的噪声定位。
• 通过基于尺寸的训练策略，在避免边界框标注的同时降低标注成本并提升定位精度。
• 开发一种课程学习方法，优先训练包含较大目标的图像，逐步引入较小目标，以稳定模型学习过程。
• 通过基于尺寸匹配度对目标提议进行加权，提升重定位阶段的性能。
• 评估尺寸估计器在不同目标类别上的泛化能力，包括类别特定与跨类别设置。

提出的方法

• 训练一个回归器，从完整图像中估计目标尺寸，每个图像仅输出单个标量值，无需边界框标注。
• 按估计尺寸从大到小对训练图像进行排序，以实现课程学习策略，从大目标开始，逐步过渡到小目标。
• 在重定位阶段，根据提议尺寸与估计目标尺寸的匹配程度进行加权，匹配度越高则权重越大。
• 使用尺寸加权的提议得分对定位结果进行优化，降低不确定性并提升相关提议的选择准确性。
• 该方法与多实例学习（MIL）框架集成，并通过使用尺寸排序和加权提议进行额外的深度网络微调迭代。
• 在类别特定、类别通用和跨类别设置下评估尺寸估计器，以评估其对未见类别的泛化能力。

实验结果

研究问题

• RQ1 按目标尺寸从大到小对训练图像进行排序，能否提升弱监督目标定位的性能？
• RQ2 基于估计目标尺寸与提议尺寸的相似度对提议进行加权，能否提升WSOL中的定位精度？
• RQ3 在一组类别上训练的尺寸估计器，其在WSOL中对新未见类别的泛化能力如何？
• RQ4 尺寸排序与尺寸加权的联合效应在不同网络架构下对WSOL性能的影响如何？
• RQ5 基于尺寸的课程学习策略能否减少早期训练迭代中由噪声定位引发的误差传播？

主要发现

• 仅使用尺寸排序，相较于标准的无序WSOL，在PASCAL VOC 2007上将CorLoc提升7%。
• 在重定位阶段加入尺寸加权，相较于尺寸排序基线，进一步实现10%的CorLoc提升。
• 最佳性能通过深度网络微调实现，在PASCAL VOC 2007测试集上达到60.9的CorLoc和36.0的mAP。
• 类别通用的尺寸估计器实现54.4的CorLoc和32.2的mAP，显著优于基线的24.7 mAP。
• 跨类尺寸估计器泛化能力良好，实现51.1的CorLoc和30.0的mAP，展现出对新类别的鲁棒性。
• 即使尺寸估计器在与WSOL所用类别不同的类别上进行训练，该方法仍保持优异性能，证实了其强大的泛化能力。