[论文解读] Unveiling the Potential of Structure Preserving for Weakly Supervised Object Localization

Xingjia Pan, Yingguo Gao+6 more|arXiv (Cornell University)|Mar 8, 2021

Advanced Neural Network Applications参考文献 12被引用 8

一句话总结

本文提出结构保持激活（SPA），一种用于弱监督目标定位的两阶段方法，通过在卷积特征中保持空间结构来提升定位精度。它引入了受限激活模块（RAM）以抑制过度自信的响应，以及利用高阶自相关捕捉长程空间布局的自相关图生成（SCG）模块，在CUB-200-2011和ILSVRC上实现了最先进性能，且在不同主干网络上均保持一致的性能提升。

ABSTRACT

Weakly supervised object localization(WSOL) remains an open problem given the deficiency of finding object extent information using a classification network. Although prior works struggled to localize objects through various spatial regularization strategies, we argue that how to extract object structural information from the trained classification network is neglected. In this paper, we propose a two-stage approach, termed structure-preserving activation (SPA), toward fully leveraging the structure information incorporated in convolutional features for WSOL. First, a restricted activation module (RAM) is designed to alleviate the structure-missing issue caused by the classification network on the basis of the observation that the unbounded classification map and global average pooling layer drive the network to focus only on object parts. Second, we designed a post-process approach, termed self-correlation map generating (SCG) module to obtain structure-preserving localization maps on the basis of the activation maps acquired from the first stage. Specifically, we utilize the high-order self-correlation (HSC) to extract the inherent structural information retained in the learned model and then aggregate HSC of multiple points for precise object localization. Extensive experiments on two publicly available benchmarks including CUB-200-2011 and ILSVRC show that the proposed SPA achieves substantial and consistent performance gains compared with baseline approaches.Code and models are available at https://github.com/Panxjia/SPA_CVPR2021

研究动机与目标

• 为解决弱监督目标定位（WSOL）中分类网络因全局平均池化和无界激活图而无法保留目标结构信息的局限性。
• 探究卷积特征中固有的空间结构如何在无需实例级标注的情况下被利用以实现更精确的定位。
• 开发一种通过特征级相关性保留结构布局而非仅依赖空间正则化或CAM激活的方法，以增强定位图。
• 通过高阶自相关精炼激活图，减少定位错误——尤其是目标范围缺失和误报——以实现更优的定位性能。

提出的方法

• 引入受限激活模块（RAM）以约束类激活图（CAMs）的响应范围，防止对判别性部分的过度强调，并通过伪掩码引导提升背景区分能力。
• 自相关图生成（SCG）模块通过计算特征图间的高阶自相关（HSC）来提取长程空间依赖关系，从而保留目标结构。
• HSC通过可微相关性操作计算，聚合多个点之间的空间关系，捕捉精确的目标布局。
• SCG模块通过聚合HSC响应，对RAM生成的激活图进行精炼，生成保持结构的定位图。
• 该方法采用两阶段流程：首先由RAM精炼CAMs，随后SCG利用基于HSC的相关性生成最终定位图。
• 该方法与标准CNN主干网络（如VGG16、Inception V3）兼容，并增加极少的计算开销。

Figure 2: Framework of the proposed SPA approach. During the training phase, we designed a restricted activation module paralleled with the classification branch on the baseline architecture of simplified CAM [ 43 ] . In the inference phase, we proposed a self-correlation map generating module, whic

实验结果

研究问题

• RQ1 在卷积特征中保持空间结构是否能超越标准CAM方法，进一步提升弱监督目标定位性能？
• RQ2 分类网络的头部结构在多大程度上抑制了特征图中的目标结构信息？
• RQ3 高阶自相关是否能有效捕捉一阶相关性无法建模的长程空间布局？
• RQ4 将受限激活与结构感知相关性结合，是否能在多种基准上实现一致的性能提升？

主要发现

• 在ILSVRC验证集上，使用VGG16的SPA将Top-1定位误差从基线的53.76%降低至50.44%（当同时使用RAM和SCG时），绝对提升3.1%。
• 在CUB-200-2011上，使用VGG16时，结合RAM和SCG可使Top-1定位误差从57.49%降至39.73%，降低17.7%。
• 在Inception V3上，与基线相比，该方法在CUB-200-2011上将Top-1定位误差降低9.2%，在ILSVRC上降低2.59%。
• 仅使用SCG模块时，在CUB-200-2011上（VGG16）性能提升11.5%，证明其在捕捉结构布局方面的有效性。
• 在CUB-200-2011上（VGG16），RAM模块将定位误差降低8.1%，证实其在缓解因过度自信响应导致的结构缺失方面的作用。
• 该方法在CUB-200-2011和ILSVRC上均达到最先进性能，且在不同主干网络和定位指标上均保持一致的性能增益。

Figure 3: Pipeline of the proposed SCG module. Here we show examples of using first- and second-order SC to obtain final localization maps, respectively.