[论文解读] Rethinking Localization Map: Towards Accurate Object Perception with Self-Enhancement Maps

Xiaolin Zhang, Yunchao Wei+2 more|arXiv (Cornell University)|Jun 9, 2020

Advanced Neural Network Applications参考文献 1被引用 22

一句话总结

该论文提出自增强图（Self-Enhancement Maps, SEM），一种用于弱监督目标定位的新型两阶段方法，通过直接比较高激活像素与背景像素之间的特征相似性，提升了定位图的准确性。该方法引入了一种基于新标注的ILSVRC验证集掩码的直接像素级评估指标，利用IoU-Threshold曲线，实现了54.88%的最先进定位准确率，在图像级监督下，于目标定位与边界检测任务中均优于先前方法。

ABSTRACT

Recently, remarkable progress has been made in weakly supervised object localization (WSOL) to promote object localization maps. The common practice of evaluating these maps applies an indirect and coarse way, i.e., obtaining tight bounding boxes which can cover high-activation regions and calculating intersection-over-union (IoU) scores between the predicted and ground-truth boxes. This measurement can evaluate the ability of localization maps to some extent, but we argue that the maps should be measured directly and delicately, i.e., comparing the maps with the ground-truth object masks pixel-wisely. To fulfill the direct evaluation, we annotate pixel-level object masks on the ILSVRC validation set. We propose to use IoU-Threshold curves for evaluating the real quality of localization maps. Beyond the amended evaluation metric and annotated object masks, this work also introduces a novel self-enhancement method to harvest accurate object localization maps and object boundaries with only category labels as supervision. We propose a two-stage approach to generate the localization maps by simply comparing the similarity of point-wise features between the high-activation and the rest pixels. Based on the predicted localization maps, we explore to estimate object boundaries on a very large dataset. A hard-negative suppression loss is proposed for obtaining fine boundaries. We conduct extensive experiments on the ILSVRC and CUB benchmarks. In particular, the proposed Self-Enhancement Maps achieve the state-of-the-art localization accuracy of 54.88% on ILSVRC. The code and the annotated masks are released at https://github.com/xiaomengyc/SEM.

研究动机与目标

• 为解决弱监督目标定位（WSOL）中依赖边界框IoU等间接评估指标的局限性，这些指标无法捕捉细粒度的定位准确性。
• 通过在ILSVRC验证集中标注真实目标掩码，提出一种直接的像素级评估协议，以实现与定位图的精确对比。
• 开发一种两阶段自增强方法，通过比较高激活像素与背景像素之间的逐点特征相似性，提升定位图质量。
• 通过一种硬负样本抑制损失（hard-negative suppression loss），仅使用图像级标签实现高质量的目标边界预测，以优化边缘图。
• 证明更优的定位图并不总是带来更好的边界框性能，强调直接评估的必要性。

提出的方法

• 提出一种两阶段方法，通过计算高激活像素与所有其他像素之间的逐点特征相似性，生成定位图，提升目标区域的覆盖度。
• 引入一种新的评估指标，使用IoU-Threshold曲线，直接对比预测的定位图与像素级真实掩码，实现对质量的精确评估。
• 应用硬负样本抑制（HNS）损失，抑制背景区域中的假阳性边缘，提升目标边界检测质量。
• 使用InceptionV3作为主干网络，并通过交叉熵损失与所提出的HNS损失相结合，端到端训练模型以优化边界。
• 利用HaS与CutMix中的数据增强技术，进一步提升定位图质量与边界检测性能。
• 在ILSVRC验证集中标注像素级目标掩码，以支持直接评估，构成新IoU-Threshold曲线指标的基础。

实验结果

研究问题

• RQ1 基于真实掩码的直接像素级评估指标是否能超越标准的间接边界框IoU评估，在定位图质量评估中表现更优？
• RQ2 与CAM和ACoL等基线方法相比，所提出的自增强机制在提升定位图准确率与完整性方面表现如何？
• RQ3 在仅使用图像级标签的条件下，目标边界能以多高的保真度进行预测？HNS损失在其中起到何种作用？
• RQ4 为何现有方法在边界框IoU得分较高时，仍可能产生较差的定位图？新评估指标如何揭示这一差异？
• RQ5 弱监督边界检测能否在大规模数据集上实现与全监督方法相当或更优的性能？

主要发现

• 所提出的自增强图（SEM）在ILSVRC基准上实现了54.88%的最先进定位准确率，超越所有先前方法。
• IoU-Threshold曲线评估显示，尽管HaS、CutMix和SPG等方法在边界框IoU上表现优异，但在直接像素级定位中表现欠佳，暴露了间接指标的缺陷。
• 在SEM-Vanilla上应用HNS损失后，目标边界检测的平均精度（AP）提升了14.3%（从17.6%增至31.9%），证明其在抑制背景噪声方面的有效性。
• 采用CutMix增强的SEM-HNS方法达到33.1%的AP，优于相同基准上的全监督SOBD方法（AP 29.6%），表明弱监督下具有强大的泛化能力。
• 在边界学习过程中，将SEM定位图替换为CAM图后，AP从31.9%降至25.5%，证实SEM生成了更细致、更准确的定位图。
• 当种子选择过程中的K=40时，定位准确率达到峰值54.88%，表明此时在多样性与背景污染之间实现了最佳平衡。