[论文解读] Shallow Feature Matters for Weakly Supervised Object Localization

Jun Wei, Qin Wang+4 more|arXiv (Cornell University)|Aug 2, 2021

Advanced Neural Network Applications参考文献 19被引用 10

一句话总结

本文提出SPOL，一种新颖的弱监督目标定位方法，通过将浅层特征与深层特征进行乘法融合，抑制背景噪声并提升边界定位精度。结合伪标签策略与高斯先验增强，并采用类别无关的分割头，SPOL在CUB-200和ImageNet-1K上均取得当前最优性能，Top-5定位准确率分别提升3.93%和2.13%。

ABSTRACT

Weakly supervised object localization (WSOL) aims to localize objects by only utilizing image-level labels. Class activation maps (CAMs) are the commonly used features to achieve WSOL. However, previous CAM-based methods did not take full advantage of the shallow features, despite their importance for WSOL. Because shallow features are easily buried in background noise through conventional fusion. In this paper, we propose a simple but effective Shallow feature-aware Pseudo supervised Object Localization (SPOL) model for accurate WSOL, which makes the utmost of low-level features embedded in shallow layers. In practice, our SPOL model first generates the CAMs through a novel element-wise multiplication of shallow and deep feature maps, which filters the background noise and generates sharper boundaries robustly. Besides, we further propose a general class-agnostic segmentation model to achieve the accurate object mask, by only using the initial CAMs as the pseudo label without any extra annotation. Eventually, a bounding box extractor is applied to the object mask to locate the target. Experiments verify that our SPOL outperforms the state-of-the-art on both CUB-200 and ImageNet-1K benchmarks, achieving 93.44% and 67.15% (i.e., 3.93% and 2.13% improvement) Top-5 localization accuracy, respectively.

研究动机与目标

• 为解决现有弱监督目标定位（WSOL）方法中浅层特征被低估的问题，这些特征常因传统融合策略而被背景噪声淹没。
• 通过浅层与深层特征的协同融合，提升对象边界清晰度并减少误检，从而提高定位精度。
• 利用仅基于伪标签训练的类别无关分割模型，将初始类激活图（CAMs）优化为更完整的对象掩码。
• 通过仅使用图像级别标签并利用高斯先验建模生成高质量伪标签，消除对边界框标注的依赖。

提出的方法

• 提出一种乘法特征融合网络（MFF-Net），通过逐元素相乘的方式融合浅层与深层特征图，实现噪声相互抑制与对象边界增强。
• 引入高斯先验伪标签（GPPL）模块，计算所有空间位置上CAM响应的均值与方差，生成强调对象质心的空域先验。
• 将融合后的CAM与GPPL作为伪标签，用于训练类别无关分割模型，该模型通过学习补全部分激活，优化对象掩码。
• 采用双阈值二值化策略以解决训练过程中的标签冲突：高响应区域作为前景，低响应区域作为背景，中间区域忽略。
• 在MFF-Net中引入辅助损失与乘法通道注意力（MCA），以提升特征表示能力并增强噪声抑制效果。
• 对最终优化后的掩码应用边界框提取器，生成最终的目标定位预测结果。

Figure 1: (a) CAM-based pipeline for Weakly Supervised Object Localization (WSOL). $\mathcal{F}$ represents different fusion strategies. Here multiplication and addition based fusion methods for CAMs are compared. (b) GT-known Loc comparison using fused CAMs through different fusion strategies from

实验结果

研究问题

• RQ1 当与深层特征恰当融合时，尽管噪声含量较高，浅层特征是否能在弱监督目标定位中被有效利用？
• RQ2 与加法或拼接融合相比，浅层与深层特征的乘法融合是否更有利于保留对象边界并抑制背景响应？
• RQ3 基于初始CAM与高斯先验生成的伪标签训练的类别无关分割模型，是否能显著提升对象掩码的完整性与定位精度？
• RQ4 各组件（MCA、辅助损失、阈值化、高斯增强）对最终定位性能的影响如何？

主要发现

• 在CUB-200上，SPOL实现93.44%的Top-5定位准确率，较之前SOTA方法提升3.93%。
• 在ImageNet-1K上，SPOL达到67.15%的Top-5定位准确率，较先前SOTA方法提升2.13%。
• 消融实验表明，若移除乘法通道注意力（MCA）模块，GT-Known Loc从92.25%降至88.52%，凸显其在噪声抑制中的关键作用。
• 辅助损失有助于模型收敛：若移除该损失，GT-Known Loc从92.25%下降至89.45%。
• 类别无关分割模型显著提升性能：若移除该模块，GT-Known Loc从96.46%降至92.25%。
• 阈值化与高斯增强均不可或缺：若省略任一模块，性能均出现显著下降，其中无高斯增强时为95.41%，无阈值化时仅为73.97%的GT-Known Loc。

Figure 2: Variants of activated regions. (a) Input image. (b) Original CAM [ 28 ] . (c) Gaussian prior pseudo labels using original CAM as the weighting coefficients. (d) Gaussian prior pseudo labels combined with original CAM. (e) Object mask predicted by the proposed class-agnostic segmentation mo