[论文解读] Robust Saliency Detection via Fusing Foreground and Background Priors

Kan Huang, Chunbiao Zhu+1 more|arXiv (Cornell University)|Nov 1, 2017

Visual Attention and Saliency Detection参考文献 12被引用 3

一句话总结

本文提出了一种鲁棒的自底向上显著性检测框架，通过利用包围度线索和测地距离优化来融合前景和背景先验。通过联合利用来自高包围度区域的基于超像素的前景种子以及来自图像边界的背景先验，并通过测地距离加权对显著性图进行优化，该方法在 ASD 数据集上实现了 0.9446 的平均 AUC，在 DUT-OMRON 数据集上实现了 0.7619 的平均 AUC，优于 11 种 SOTA 方法。

ABSTRACT

Automatic Salient object detection has received tremendous attention from research community and has been an increasingly important tool in many computer vision tasks. This paper proposes a novel bottom-up salient object detection framework which considers both foreground and background cues. First, A series of background and foreground seeds are selected from an image reliably, and then used for calculation of saliency map separately. Next, a combination of foreground and background saliency map is performed. Last, a refinement step based on geodesic distance is utilized to enhance salient regions, thus deriving the final saliency map. Particularly we provide a robust scheme for seeds selection which contributes a lot to accuracy improvement in saliency detection. Extensive experimental evaluations demonstrate the effectiveness of our proposed method against other outstanding methods.

研究动机与目标

• 解决现有显著性检测方法仅依赖前景或背景先验的局限性。
• 通过整合来自前景和背景的互补线索，提升显著目标检测的准确性和鲁棒性。
• 开发一种可靠的种子估计方案，基于包围度和统计阈值为前景和背景种子分配置信度水平。
• 通过基于测地距离的优化提升显著性图的一致性和边界定位精度。
• 在无需训练数据的情况下实现显著性检测的 SOTA 性能，同时保持高效性以适用于实时应用。

提出的方法

• 通过 SLIC 生成超像素以减少噪声并保留结构，从 BMS 算法导出的包围度图中提取前景种子。
• 基于包围度均值的阈值定义强前景种子和弱前景种子：强种子满足 $ S_p(i) \geq 2 \cdot \text{mean}(S_p) $，弱种子满足 $ \text{mean}(S_p) \leq S_p(i) < 2 \cdot \text{mean}(S_p) $。
• 使用基于图的排序方法计算前景显著性，依据内在流形结构从种子传播显著性分数。
• 从图像边界区域提取背景先验，并使用相同的排序机制计算独立的背景显著性图。
• 通过组合每张图中高于平均值的元素，融合前景和背景显著性图，然后使用组合集合作为种子重新排序。
• 通过基于测地距离的加权对最终显著性图进行优化：$ S_{final}(q) = \sum_j \delta_{qj} \cdot S_{com}(j) $，其中 $ \delta_{qj} = \exp\left(-\frac{d_g^2(p,i)}{2\sigma_c^2}\right) $，$ d_g $ 表示超像素图上的最短路径距离。

实验结果

研究问题

• RQ1 与仅依赖单一先验的方法相比，结合前景和背景先验是否能提升自底向上显著性检测的鲁棒性和准确性？
• RQ2 包围度线索在识别可靠前景种子方面是否有效？
• RQ3 基于置信度的种子估计方案（强种子与弱种子）是否相比固定阈值法能提升检测性能？
• RQ4 基于测地距离的优化是否能统一增强显著区域并改善边界定位？
• RQ5 所提出的融合与优化框架在基准数据集上相比现有 SOTA 方法，优势程度如何？

主要发现

• 在 ASD 数据集上，所提方法实现了 0.9446 的平均 AUC，优于所有 11 种对比的 SOTA 方法，包括 BMS、CAS 和 wCtr。
• 在更具挑战性的 DUT-OMRON 数据集上，该方法实现了 0.7619 的平均 AUC，超越所有基线方法，包括 GBVS、ITTI 和 PCA。
• 在 ASD 上实现了 0.0596 的最低平均绝对误差（MAE），在 DUT-OMRON 上实现了 0.1068，表明显著性图估计具有高精度。
• 视觉对比显示，与竞争模型相比，该方法能更均匀地突出显著对象，并更好地保持边界。
• 测地距离优化步骤显著提升了显著性图的一致性，尤其在增强显著对象内部区域方面效果明显。
• 由于其无需训练的自底向上设计，该方法保持了高效率，适用于实时应用。