[论文解读] Self-Erasing Network for Integral Object Attention

Qibin Hou, Peng-Tao Jiang+2 more|arXiv (Cornell University)|Oct 23, 2018

Advanced Neural Network Applications参考文献 28被引用 15

一句话总结

本文提出自擦除网络（SeeNet），一种用于弱监督语义分割的新注意力机制，通过利用基于背景先验的自擦除策略，防止注意力图在对抗性擦除过程中扩散到背景区域。通过利用阈值化的初始注意力图将注意力限制在可能的对象区域，SeeNet生成了更高质量、完整的目标注意力图，在Pascal VOC 2012上实现了SOTA性能，相比之前方法提升超过2%。

ABSTRACT

Recently, adversarial erasing for weakly-supervised object attention has been deeply studied due to its capability in localizing integral object regions. However, such a strategy raises one key problem that attention regions will gradually expand to non-object regions as training iterations continue, which significantly decreases the quality of the produced attention maps. To tackle such an issue as well as promote the quality of object attention, we introduce a simple yet effective Self-Erasing Network (SeeNet) to prohibit attentions from spreading to unexpected background regions. In particular, SeeNet leverages two self-erasing strategies to encourage networks to use reliable object and background cues for learning to attention. In this way, integral object regions can be effectively highlighted without including much more background regions. To test the quality of the generated attention maps, we employ the mined object regions as heuristic cues for learning semantic segmentation models. Experiments on Pascal VOC well demonstrate the superiority of our SeeNet over other state-of-the-art methods.

研究动机与目标

• 解决在弱监督目标定位过程中，注意力图在对抗性擦除期间扩散至背景区域的问题。
• 通过整合可靠的背景和对象线索，提升弱监督语义分割中注意力图的质量。
• 开发一种自擦除机制，将注意力限制在高概率对象区域，避免过度侵蚀至非对象区域。
• 证明由SeeNet生成的高质量代理真实标签可显著提升分割性能。

提出的方法

• SeeNet使用初始注意力生成器生成类别激活图，并将其阈值化为三个区域：高置信度对象、低置信度对象和背景。
• 应用两种自擦除策略：一种擦除低置信度对象区域，另一种擦除背景区域，利用阈值化图作为先验。
• 网络采用端到端训练，重点在于抑制背景区域的注意力，同时保留完整对象区域的注意力。
• 生成的注意力图被用作启发式线索，通过与显著性图简单融合，用于训练语义分割网络。
• 该方法在Pascal VOC 2012基准上进行评估，采用VGGNet和DeepLab-LargeFOV作为骨干模型。

实验结果

研究问题

• RQ1 基于背景先验的自擦除策略是否能有效防止在对抗性擦除过程中注意力扩散至意外的背景区域？
• RQ2 基于初始注意力图将注意力限制在潜在区域，是否能提升弱监督设置下对象定位的质量？
• RQ3 SeeNet生成的注意力图在分割性能方面是否优于CAM和对抗性擦除基线方法？
• RQ4 使用SeeNet的代理真实标签在多大程度上提升了弱监督语义分割的准确性？

主要发现

• 当使用相同的VGGNet主干网络时，SeeNet在Pascal VOC 2012验证集上相比DCSP实现了2.1%的绝对性能提升。
• 该方法显著优于对抗性擦除基线方法（如AE-PSL和GAIN），证明了其注意力图的优越性。
• 可视化结果表明，SeeNet能将注意力保持在完整对象区域内，避免向背景区域溢出，而基线方法则会逐步包含非对象区域。
• 失败案例主要源于重叠或模糊的对象边界，尤其在低对比度或存在多个对象的复杂场景中。
• 由于显式集成了背景先验，该方法在多样化场景（包括复杂背景）中表现出强鲁棒性。