[论文解读] Salient Object Detection via Augmented Hypotheses

Tam Nguyen, José Sepúlveda|arXiv (Cornell University)|May 29, 2015

Visual Attention and Saliency Detection参考文献 31被引用 10

一句话总结

本文提出了一种增强假设（AH）框架用于显著性目标检测，通过整合从目标假设中提取的显著性、前景和紧凑性图，生成像素级精确的显著性图。该方法在MSRA-1000和iCoSeg数据集上达到最先进性能，平均绝对误差（MAE）分别较先前方法提升24%和25%，同时保持实时效率。

ABSTRACT

In this paper, we propose using extit{augmented hypotheses} which consider objectness, foreground and compactness for salient object detection. Our algorithm consists of four basic steps. First, our method generates the objectness map via objectness hypotheses. Based on the objectness map, we estimate the foreground margin and compute the corresponding foreground map which prefers the foreground objects. From the objectness map and the foreground map, the compactness map is formed to favor the compact objects. We then derive a saliency measure that produces a pixel-accurate saliency map which uniformly covers the objects of interest and consistently separates fore- and background. We finally evaluate the proposed framework on two challenging datasets, MSRA-1000 and iCoSeg. Our extensive experimental results show that our method outperforms state-of-the-art approaches.

研究动机与目标

• 解决在具有锐利、紧凑边界的情况下检测显著性目标，并将其与背景和噪声区分开来的挑战。
• 改进现有显著性模型因产生模糊图或过度强调局部特征而存在的问题，通过引入结构和上下文线索。
• 开发一种计算效率高的方法，在不依赖复杂高维特征空间的前提下，保持高精度与高召回率。
• 通过利用目标显著性假设作为显著性估计的基础，弥合显著性目标检测与目标检测之间的差距。
• 在基准数据集上，于定量指标（F-measure、MAE）和与真实标签的视觉一致性方面均实现卓越性能。

提出的方法

• 使用与类别无关的滑动窗口方法生成目标显著性假设，以识别潜在的目标区域。
• 通过聚合所有目标假设构建目标显著性图，突出可能包含显著性目标的区域。
• 从目标显著性图中估计前景边缘，并基于与估计背景的颜色差异计算前景图。
• 将图像过分割为超像素，并基于超像素区域内的空间分布与显著性传播计算紧凑性图。
• 使用学习或启发式加权方案融合目标显著性图、前景图与紧凑性图，生成最终的像素级显著性图。
• 应用后处理以优化边界，确保显著性目标的均匀覆盖，同时抑制背景响应。

实验结果

研究问题

• RQ1 能否通过前景和紧凑性线索有效增强目标显著性假设，以提升显著性检测的准确性？
• RQ2 融合多种互补线索（目标显著性、前景、紧凑性）对显著性目标检测的精确率与召回率有何影响？
• RQ3 该方法在MAE、F-measure和计算效率方面，相较于最先进方法的优越程度如何？
• RQ4 该方法是否能在MSRA-1000和iCoSeg等挑战性数据集上保持实时性能的同时实现更高的准确性？
• RQ5 与传统显著性模型相比，紧凑性图与前景图的整合是否能减少过度分割和边界模糊？

主要发现

• 所提出的增强假设（AH）方法在MSRA-1000数据集上，相较于先前最先进方法，平均绝对误差（MAE）降低了24%。
• 在iCoSeg数据集上，该方法相比最佳基线方法在MAE上提升了25%，展现出一致的优越性。
• 在MSRA-1000和iCoSeg数据集上，该方法在所有10余个基线方法中均在精确率/召回率和F-measure指标上表现最优，F-measure最高，整体排名最佳。
• AH框架可实现实时运行，标准PC上每张图像的平均推理时间为0.07秒，优于较慢的CA方法（51.2秒），并达到高性能C++方法的处理速度。
• 消融实验表明，各独立组件（目标显著性图、前景图、紧凑性图）的表现与基线方法相当，但其融合显著提升了整体性能。
• 该方法生成的显著性图更加清晰、连贯，与真实标签高度一致，能准确聚焦于主要显著性目标，同时最小化背景激活。