[论文解读] Weakly Supervised Salient Object Detection Using Image Labels

Guanbin Li, Yuan Xie+1 more|arXiv (Cornell University)|Mar 17, 2018

Visual Attention and Saliency Detection被引用 21

一句话总结

本文提出了一种弱监督显著性物体检测方法，利用图像级别标签和无监督显著性图作为噪声标注，训练全卷积网络。通过交替使用条件随机场（CRF）进行空间一致性优化和由类别激活图（CAMs）引导的多任务ResNet进行优化，该方法在所有主要基准测试上实现了与使用数千张像素级标注的强监督方法相当的性能。

ABSTRACT

Deep learning based salient object detection has recently achieved great success with its performance greatly outperforms any other unsupervised methods. However, annotating per-pixel saliency masks is a tedious and inefficient procedure. In this paper, we note that superior salient object detection can be obtained by iteratively mining and correcting the labeling ambiguity on saliency maps from traditional unsupervised methods. We propose to use the combination of a coarse salient object activation map from the classification network and saliency maps generated from unsupervised methods as pixel-level annotation, and develop a simple yet very effective algorithm to train fully convolutional networks for salient object detection supervised by these noisy annotations. Our algorithm is based on alternately exploiting a graphical model and training a fully convolutional network for model updating. The graphical model corrects the internal labeling ambiguity through spatial consistency and structure preserving while the fully convolutional network helps to correct the cross-image semantic ambiguity and simultaneously update the coarse activation map for next iteration. Experimental results demonstrate that our proposed method greatly outperforms all state-of-the-art unsupervised saliency detection methods and can be comparable to the current best strongly-supervised methods training with thousands of pixel-level saliency map annotations on all public benchmarks.

研究动机与目标

• 解决基于深度学习的显著性物体检测中像素级显著性掩码的高标注成本问题。
• 通过弱监督纠正空间不一致性和语义模糊性，提升无监督显著性检测性能。
• 开发一种通用的、迭代优化框架，无需密集的像素级标注即可增强显著性图。
• 仅使用图像级别标签和无监督初始化，实现与完全监督方法相当的性能。

提出的方法

• 该方法使用条件随机场（CRF）通过强制执行空间一致性和结构保持来纠正显著性图中的内部标注模糊性。
• 使用图像级别标签和来自无监督方法的迭代修正像素级标注，训练一个多任务全卷积ResNet。
• 网络生成两个输出：用于显著性物体粗略定位的类别激活图（CAM）和用于提高准确性的优化显著性图。
• 该框架在CRF优化和深度网络训练之间交替进行，CAMs用于指导跨图像的语义模糊性校正。
• CRF的单变量势能通过深度网络生成的优化显著性图和CAMs迭代更新。
• 该过程以任意无监督方法生成的显著性图初始化，使框架具有通用性，并可适用于多种基线方法。

实验结果

研究问题

• RQ1 仅使用图像级别标签和无监督初始化，是否能显著提升显著性检测性能，而无需像素级标注？
• RQ2 深度网络在多大程度上能纠正无监督方法生成的噪声显著性图中的标注模糊性？
• RQ3 引入类别激活图（CAMs）在多大程度上能提升弱监督显著性检测的准确性和定位能力？
• RQ4 结合CRF空间正则化与深度网络学习，是否能达到与完全监督方法相当的性能？
• RQ5 所提出的优化框架是否能在不同无监督显著性检测基线方法上实现泛化？

主要发现

• 在PASCAL-S数据集上，该方法实现了最大F-measure为0.913，优于所有最先进的无监督方法。
• 在HKU-IS数据集上，该方法将MAE降低至0.041，显著优于最佳无监督方法。
• 仅使用图像级别标签，该方法实现了与使用数千张像素级标注训练的完全监督方法相当的性能。
• 在半监督设置下，结合MSRA-B数据集的真实掩码，该方法在HKU-IS、ECSSD和PASCAL-S上均优于所有完全监督基线方法。
• 消融实验表明，CAM引导对性能提升贡献最大，相比基线无监督方法，最大F-measure提升5.22%，MAE降低16.6%。
• 该方法泛化能力良好，在多个基准测试中显著提升了多种无监督基线方法（如BSCA、MST等）的性能。