[论文解读] Object-Aware Instance Labeling for Weakly Supervised Object Detection

Satoshi Kosugi, Toshihiko Yamasaki+1 more|arXiv (Cornell University)|Aug 10, 2019

Advanced Neural Network Applications参考文献 29被引用 6

一句话总结

本文提出了一种用于弱监督目标检测的物体感知实例标注方法，引入了上下文感知正样本（CAP）和空间受限负样本（SRN）标注策略以提升迭代优化效果。CAP利用上下文分类损失识别覆盖完整物体的区域，而SRN通过空间约束防止其他物体被误标为负样本。该方法在PASCAL VOC 2007上达到47.6%的mAP，在VOC 2012上达到43.4%的mAP，性能达到当前最先进水平。

ABSTRACT

Weakly supervised object detection (WSOD), where a detector is trained with only image-level annotations, is attracting more and more attention. As a method to obtain a well-performing detector, the detector and the instance labels are updated iteratively. In this study, for more efficient iterative updating, we focus on the instance labeling problem, a problem of which label should be annotated to each region based on the last localization result. Instead of simply labeling the top-scoring region and its highly overlapping regions as positive and others as negative, we propose more effective instance labeling methods as follows. First, to solve the problem that regions covering only some parts of the object tend to be labeled as positive, we find regions covering the whole object focusing on the context classification loss. Second, considering the situation where the other objects contained in the image can be labeled as negative, we impose a spatial restriction on regions labeled as negative. Using these instance labeling methods, we train the detector on the PASCAL VOC 2007 and 2012 and obtain significantly improved results compared with other state-of-the-art approaches.

研究动机与目标

• 通过优化实例标注步骤，提升弱监督目标检测的效率与准确性。
• 解决因部分区域（如人脸）具有高判别性而导致其被错误标注为正样本的问题。
• 防止在实例标注过程中将同类别其他物体误标为负样本。
• 利用上下文分类损失与空间约束提升定位质量，而无需强监督标注。

提出的方法

• 提出上下文感知正样本（CAP）标注方法，通过分析每个区域的上下文分类损失，识别覆盖完整物体的区域。
• 使用上下文分类器计算区域周围区域的损失；上下文损失较低的区域更可能覆盖完整物体。
• 定义基于覆盖度的集合 $\mathcal{S}_i$，按物体覆盖比例对区域进行分组，并在训练过程中跟踪每组的上下文损失 $L_{\text{context}}^i$。
• 应用阈值 $P_t$ 选择 $p_{cj}$（上下文分类器概率）较低的区域作为完整物体覆盖的候选区域。
• 提出空间受限负样本（SRN）标注方法，通过强制与正样本区域保持空间分离，防止其他物体被误标为负样本。
• 施加空间约束，仅允许远离任何正样本区域的区域被标注为负样本，从而减少误检为负样本的错误。

实验结果

研究问题

• RQ1 即使仅提供图像级别标签，是否可以利用上下文分类损失识别覆盖整个物体的区域？
• RQ2 在弱监督设定下，用上下文感知分类替代简单掩码操作，是否能提升对完整物体的检测性能？
• RQ3 在负样本标注过程中引入空间约束，是否能减少将同类别其他物体误标为背景的情况？
• RQ4 所提出的实例标注方法与基线迭代标注方法相比，在mAP和定位精度方面表现如何？

主要发现

• 所提出的CAP标注方法在PASCAL VOC 2007上达到47.6%的mAP，高于使用简单掩码替代上下文分类时的47.1%。
• 覆盖完整物体的区域其上下文分类损失显著降低，表明该方法在识别完整物体覆盖方面具有有效性。
• SRN标注方法有效防止了同类别其他实例被误标为负样本，提升了定位的一致性。
• 在PASCAL VOC 2012上，该方法达到43.4%的mAP，优于其他弱监督目标检测的最先进方法。
• 消融实验表明，上下文分类比简单掩码更有效于检测完整物体，CorLoc指标提升1.8%。