[论文解读] Object Region Mining with Adversarial Erasing: A Simple Classification to Semantic Segmentation Approach

Yunchao Wei, Jiashi Feng+4 more|arXiv (Cornell University)|Mar 24, 2017

Advanced Neural Network Applications参考文献 31被引用 47

一句话总结

该论文提出了一种对抗性擦除（AE）方法，通过迭代擦除分类网络中先前发现的判别性区域，逐步挖掘出密集且完整的物体区域，从而实现弱监督语义分割。通过将AE与在线禁止性分割学习（PSL）相结合，该方法在PASCAL VOC 2012验证集上达到55.0%的mIoU，在测试集上达到55.7%，显著优于以往的弱监督方法。

ABSTRACT

We investigate a principle way to progressively mine discriminative object regions using classification networks to address the weakly-supervised semantic segmentation problems. Classification networks are only responsive to small and sparse discriminative regions from the object of interest, which deviates from the requirement of the segmentation task that needs to localize dense, interior and integral regions for pixel-wise inference. To mitigate this gap, we propose a new adversarial erasing approach for localizing and expanding object regions progressively. Starting with a single small object region, our proposed approach drives the classification network to sequentially discover new and complement object regions by erasing the current mined regions in an adversarial manner. These localized regions eventually constitute a dense and complete object region for learning semantic segmentation. To further enhance the quality of the discovered regions by adversarial erasing, an online prohibitive segmentation learning approach is developed to collaborate with adversarial erasing by providing auxiliary segmentation supervision modulated by the more reliable classification scores. Despite its apparent simplicity, the proposed approach achieves 55.0% and 55.7% mean Intersection-over-Union (mIoU) scores on PASCAL VOC 2012 val and test sets, which are the new state-of-the-arts.

研究动机与目标

• 为解决将通常对稀疏、判别性区域敏感的图像分类网络适配到密集像素级语义分割任务的挑战。
• 弥合分类网络的稀疏注意力与分割网络对完整、整体物体区域定位的需求之间的差距。
• 开发一种简单而有效的方法，仅使用图像级标注挖掘密集且完整的物体区域，避免昂贵的像素级监督。
• 通过引入在线禁止性分割学习（PSL），利用分类置信度来优化分割监督，从而提升分割质量。

提出的方法

• 对抗性擦除（AE）通过迭代擦除分类网络识别出的最判别性区域，迫使网络在后续训练轮次中发现新的互补物体区域。
• 该过程重复进行，直到无法再发现新的信息区域，被擦除的区域合并后形成完整的、密集的前景掩码，用于分割监督。
• 在线禁止性分割学习（PSL）利用图像级分类得分调节类别特定的响应图，生成辅助分割监督，提升区域完整性并减少噪声。
• PSL在训练过程中以在线方式应用，根据分类得分的可靠性动态调整分割监督。
• 最后的迭代训练步骤对预测掩码应用CRF，并重新训练分割网络，进一步优化结果。
• 该方法将AE与PSL整合到统一流程中，无需真实掩码，仅依赖图像级标签。

实验结果

研究问题

• RQ1 对抗性擦除能否有效将分类网络转化为用于弱监督语义分割的渐进式物体区域挖掘器？
• RQ2 如何缓解分类网络中稀疏注意力的局限性，以实现密集且完整的物体定位？
• RQ3 在线禁止性分割学习在多大程度上能提升挖掘区域的质量并改善分割性能？
• RQ4 在弱监督设置下，使用分类置信度得分而非二值真实标签是否能带来更好的分割结果？

主要发现

• 所提出的对抗性擦除（AE）方法在PASCAL VOC 2012验证集上达到55.0%的mIoU，创下弱监督语义分割的新SOTA记录。
• 在PASCAL VOC 2012测试集上，该方法达到55.7%的mIoU，进一步证实其SOTA性能。
• 与不使用PSL的基线相比，集成在线禁止性分割学习（PSL）使性能提升3.2%。
• 在CRF处理后的掩码上增加一轮训练（w/ PSL++）使mIoU从54.1%提升至55.0%，表明模型已趋于收敛且具有鲁棒性。
• 若使用真实标签代替分类得分进行PSL，性能下降0.6%，验证了基于置信度调制的优越性。
• 若从PSL中移除分类置信度，性能下降1%，证实利用模型置信度进行监督调制的有效性。