[论文解读] Weakly Supervised Top-down Salient Object Detection.

Hisham Cholakkal, Jubin Johnson+1 more|arXiv (Cornell University)|Nov 16, 2016

Visual Attention and Saliency Detection参考文献 53被引用 3

一句话总结

本文提出了一种仅使用二值图像级标签生成显著图的弱监督自顶向下显著性框架，通过回溯卷积神经网络置信度贡献并将其与选定的自底向上显著图相结合，实现了在四个应用领域七个数据集上的最先进性能，尽管监督程度极低，仍优于完全监督方法。

ABSTRACT

Top-down saliency models produce a probability map that peaks at target locations specified by a task/goal such as object detection. They are usually trained in a fully supervised setting involving pixel-level annotations of objects. We propose a weakly supervised top-down saliency framework using only binary labels that indicate the presence/absence of an object in an image. First, the probabilistic contribution of each image region to the confidence of a CNN-based image classifier is computed through a backtracking strategy to produce top-down saliency. From a set of saliency maps of an image produced by fast bottom-up saliency approaches, we select the best saliency map suitable for the top-down task. The selected bottom-up saliency map is combined with the top-down saliency map. Features having high combined saliency are used to train a linear SVM classifier to estimate feature saliency. This is integrated with combined saliency and further refined through a multi-scale superpixel-averaging of saliency map. We evaluate the performance of the proposed weakly supervised top-down saliency against fully supervised approaches and achieve state-of-the-art performance. Experiments are carried out on seven challenging datasets and quantitative results are compared with 36 closely related approaches across 4 different applications.

研究动机与目标

• 开发一种仅需二值图像级标签而非昂贵像素级标注的自顶向下显著性检测框架。
• 通过利用图像区域对分类器置信度的概率贡献，在弱监督设置下实现自顶向下显著性学习。
• 通过为每张图像选择最合适的自底向上显著图并与自顶向下显著图结合，提升显著图质量。
• 通过多尺度超像素平均对显著性预测进行优化，并在高显著性特征上训练线性SVM以提升定位精度。
• 在最小监督条件下于多个基准数据集上实现最先进性能，证明弱监督方法的有效性。

提出的方法

• 通过回溯每个图像区域对基于CNN的图像分类器置信度得分的贡献，计算自顶向下显著性。
• 基于与自顶向下任务的相关性，从多种快速自底向上方法中选择表现最佳的显著图。
• 将选定的自底向上显著图与自顶向下显著图结合，生成融合显著图。
• 在高组合显著性特征上训练线性SVM，以估计特征级显著性并提升定位精度。
• 通过多尺度超像素平均对最终显著图进行优化，以增强空间一致性和精度。
• 利用组合显著性和优化后的特征训练分类器，实现弱监督下的目标存在预测。

实验结果

研究问题

• RQ1 能否仅使用二值图像级标签而非像素级标注，有效学习自顶向下显著性检测？
• RQ2 在弱监督设置下，如何利用图像区域对分类器置信度的贡献生成有意义的自顶向下显著图？
• RQ3 如何最优地结合自顶向下显著图与自底向上显著图以提升定位精度？
• RQ4 基于超像素的平均是否能提升弱监督显著图的质量与鲁棒性？
• RQ5 与完全监督方法相比，所提出的框架在多样化基准数据集上是否实现了最先进性能？

主要发现

• 所提出的弱监督自顶向下显著性框架在七个具有挑战性的基准数据集上实现了最先进性能。
• 该方法在四个不同应用中超越了36种相关方法，表明其在弱监督下具有强大的泛化能力。
• 将回溯CNN置信度生成的自顶向下显著性与选定的自底向上显著图结合，显著提升了定位精度。
• 对显著图进行多尺度超像素平均有效增强了空间一致性并细化了目标边界定位。
• 在高组合显著性特征上训练的线性SVM能以极少监督有效学习判别性模式。
• 尽管仅使用二值图像级标签，该框架与完全监督方法相比仍表现出具有竞争力的性能。