[论文解读] Self-produced Guidance for Weakly-supervised Object Localization

Xiaolin Zhang, Yunchao Wei+3 more|arXiv (Cornell University)|Jul 24, 2018

Advanced Neural Network Applications参考文献 33被引用 9

一句话总结

该论文提出了一种名为自生成指导（Self-produced Guidance, SPG）的新方法，用于弱监督目标定位。该方法通过从注意力图生成像素级的前景-背景掩码，以提升空间相关性学习效果。采用分阶段、自顶向下的方法并引入辅助监督，SPG在ILSVRC验证集上实现了43.83%的SOTA（最先进）Top-1定位误差率。

ABSTRACT

Weakly supervised methods usually generate localization results based on attention maps produced by classification networks. However, the attention maps exhibit the most discriminative parts of the object which are small and sparse. We propose to generate Self-produced Guidance (SPG) masks which separate the foreground, the object of interest, from the background to provide the classification networks with spatial correlation information of pixels. A stagewise approach is proposed to incorporate high confident object regions to learn the SPG masks. The high confident regions within attention maps are utilized to progressively learn the SPG masks. The masks are then used as an auxiliary pixel-level supervision to facilitate the training of classification networks. Extensive experiments on ILSVRC demonstrate that SPG is effective in producing high-quality object localizations maps. Particularly, the proposed SPG achieves the Top-1 localization error rate of 43.83% on the ILSVRC validation set, which is a new state-of-the-art error rate.

研究动机与目标

• 解决现有弱监督目标定位方法仅依赖注意力图中稀疏、判别性区域的局限性。
• 通过引入像素级的辅助监督，学习像素之间的空间相关性，以提升定位精度。
• 开发一种自监督的多阶段框架，通过基于置信度的种子逐步优化目标区域预测。
• 仅使用图像级标注，不依赖像素级标注，实现SOTA定位性能。

提出的方法

• 通过将高置信度和低置信度区域分类为前景和背景种子，同时将中等置信度区域保持未定义状态，从注意力图中生成初始的前景和背景种子。
• 采用双分支网络（B1和B2）进行自顶向下的级联：B2利用种子掩码预测更置信的前景/背景区域，B1则利用低层特征对预测结果进行细化。
• 通过融合B1和B2的输出形成自生成指导，该指导随后作为辅助像素级监督用于分类网络。
• 分类网络同时使用图像标签的交叉熵损失和SPG掩码的像素级损失进行训练，以促进对完整物体区域的更好定位。
• 框架采用分阶段学习策略，高层特征引导低层特征学习，逐步优化模糊区域。
• B1和B2中共享的层用于提升各阶段之间特征的一致性与泛化能力。

实验结果

研究问题

• RQ1 自生成的前景-背景掩码是否能通过建模像素间空间相关性来提升弱监督目标定位性能？
• RQ2 采用分阶段、自顶向下策略并逐步优化种子的训练方式，是否能生成比单阶段监督更优的定位图？
• RQ3 与基线方法相比，来自自生成指导的辅助监督在降低定位误差方面有多有效？
• RQ4 所提方法是否能在不依赖像素级标注的情况下实现SOTA性能？

主要发现

• 所提出的SPG方法在ILSVRC验证集上实现了43.83%的Top-1定位误差率，创下新的SOTA记录。
• 在使用真实标签时，SPG-plain的Top-1误差为37.32%，优于先前方法如ACoL（37.04%）和MWP（38.70%）。
• 在真实标签下，引入SPG-C的辅助监督后，定位误差进一步降低至35.31%，证明了自生成指导的有效性。
• 若移除两阶段级联结构，误差上升至35.58%，证实顺序细化过程可提升掩码质量。
• 若移除B1与B2之间的共享层，误差上升至36.31%，表明特征共享有助于性能提升。
• 若移除辅助监督（SPG-C），在真实标签下性能退化至36.06%，证明自生成指导是定位性能提升的关键因素。