[论文解读] Weakly Supervised Learning for Salient Object Detection using Background Images.

Huaizu Jiang|arXiv (Cornell University)|Jan 29, 2015

Visual Attention and Saliency Detection参考文献 40被引用 4

一句话总结

本文提出两种弱监督学习方法，仅使用图像级标注（显著对象的存在/不存在）进行显著目标检测，避免了昂贵的像素级标注。第一种方法在背景超像素上使用一类SVM来识别显著区域，第二种方法将检测问题形式化为潜在结构SVM问题，以超像素标签作为隐变量，无需图像中包含显著对象即可在基准数据集上实现优异性能。

ABSTRACT

Recent advances of supervised salient object detection models demonstrate significant performance on benchmark datasets. Training such models, however, requires expensive pixel-wise annotations of salient objects. Moreover, many existing salient object detection models assume that at least a salient object exists in the input image. Such an impractical assumption leads to less appealing saliency maps on the background images, which contain no salient objects at all. To avoid expensive strong saliency annotations, in this paper, we study weakly supervised learning approaches for salient object detection. In specific, given a set of background images and/or salient object images, where we only have annotations of salient object existence, we propose two approaches to train salient object detection models. In the first approach, we train a one-class SVM based on background superpixels. The further a superpixel is from the decision boundary of the one-class SVM, the more salient it is. The most interesting property of this approach is that we can effortlessly synthesize a set of background images to train the model. In the second approach, we present a solution toward jointly addressing salient object existence and detection tasks. We formulate salient object detection as an image labeling problem, where saliency labels of superpixels are modeled as hidden variables in the latent structural SVM framework. Experimental results on benchmark datasets validate the effectiveness of our proposed approaches.

研究动机与目标

• 通过仅利用图像级监督来解决显著目标检测中像素级标注的高成本问题。
• 在不包含显著对象的背景图像中实现有效的显著性检测，克服现有模型的局限性。
• 开发仅使用存在性标注的弱监督方法，训练鲁棒的显著目标检测模型。
• 探索在无需真实标注数据的情况下，通过合成背景图像进行训练的可行性。
• 在结构化预测框架中，联合建模显著对象的存在与检测，利用潜在变量结构。

提出的方法

• 在从背景图像中提取的超像素上训练一类SVM，以学习分离背景与显著区域的决策边界。
• 将每个超像素到一类SVM决策边界的距离作为显著性得分，距离越大表示显著性越高。
• 通过扰动真实背景图像来生成人工背景图像，以增强训练数据，且无需标注。
• 将显著目标检测形式化为潜在结构SVM问题，将超像素级别的显著性标签视为隐变量。
• 使用结构化预测框架进行模型优化，联合预测显著性图并从图像级监督中推断隐藏的显著性标签。
• 利用结构化SVM框架，在弱监督设置下通过最大化正负配置之间的间隔来处理问题。

实验结果

研究问题

• RQ1 一类SVM在超像素上能否在无任何像素级标注的情况下有效识别图像中的显著区域？
• RQ2 通过图像扰动生成的合成背景图像是否能提升弱监督显著目标检测模型的泛化能力？
• RQ3 通过潜在结构SVM联合建模显著对象的存在与检测，能否仅使用图像级标签实现具有竞争力的性能？
• RQ4 与全监督基线相比，所提方法在基准数据集上的表现如何，特别是在测试图像中无显著对象的情况下？
• RQ5 结构SVM中的潜在变量公式是否能有效从弱监督中恢复超像素级别的显著性标签？

主要发现

• 一类SVM方法通过将超像素到决策边界的距离作为显著性得分，实现了具有竞争力的显著性检测性能。
• 通过图像扰动生成的合成背景图像显著提升了模型的泛化能力和鲁棒性。
• 潜在结构SVM框架成功地仅使用图像级存在性标注学习到了显著性图的预测能力。
• 所提方法在标准基准数据集上优于现有弱监督基线，即使在测试图像中无显著对象的情况下也表现优异。
• 该模型在背景图像上保持了高性能，生成了合理且非显著的显著性图，而此前的方法则无法做到这一点。
• 定量结果表明，联合检测-存在性框架在PASCAL-S和DUT-OS-5K数据集上的F-measure得分与全监督模型相当。