[论文解读] Salient Objects in Clutter: Bringing Salient Object Detection to the Foreground

Deng-Ping Fan, Ming‐Ming Cheng+4 more|arXiv (Cornell University)|Mar 16, 2018

Visual Attention and Saliency Detection参考文献 39被引用 43

一句话总结

本文引入 SOC 数据集（在混乱场景中的显著对象）来解决显著性对象检测中的数据偏差，提供对该数据集上基于卷积神经网络的显著性对象检测模型的全面基准测试，并分析在多种真实世界属性下的性能。

ABSTRACT

We provide a comprehensive evaluation of salient object detection (SOD) models. Our analysis identifies a serious design bias of existing SOD datasets which assumes that each image contains at least one clearly outstanding salient object in low clutter. The design bias has led to a saturated high performance for state-of-the-art SOD models when evaluated on existing datasets. The models, however, still perform far from being satisfactory when applied to real-world daily scenes. Based on our analyses, we first identify 7 crucial aspects that a comprehensive and balanced dataset should fulfill. Then, we propose a new high quality dataset and update the previous saliency benchmark. Specifically, our SOC (Salient Objects in Clutter) dataset, includes images with salient and non-salient objects from daily object categories. Beyond object category annotations, each salient image is accompanied by attributes that reflect common challenges in real-world scenes. Finally, we report attribute-based performance assessment on our dataset.

研究动机与目标

• 识别现有 SOD 数据集中的偏差，这些偏差在理想化、低混乱场景中高估了性能。
• 创建一个真实、规模较大的 SOD 数据集（SOC），包括显著和非显著图像，具实例级注释和属性。
• 在 SOC 上基准测试主要的基于 CNN 的 SOD 模型，以揭示泛化差距并指导未来研究。
• 提供基于属性的性能分析，以理解在真实世界挑战下模型的优点与不足。

提出的方法

• 为真实且平衡的 SOD 数据集定义七条标准。
• 组装 SOC，包含 6,000 张图像（3,000 张显著，3,000 张非显著）横跨 80+ 类别，包括非显著图像和实例级注释。
• 用高质量的像素级掩模对显著对象进行标注，并提供每张图的属性（如运动模糊、遮挡、混乱度等）。
• 在 SOC 上评估具代表性的单任务和多任务基于 CNN 的 SOD 模型，使用像素级准确率、区域相似性（F-measure）和结构相似性（S-measure）。
• 进行基于属性的性能评估，以分析模型在特定场景挑战下的表现。
• 公开发布数据集和基准测试工具。

实验结果

研究问题

• RQ1 与现有基准相比，当前 SOD 模型在具有混乱和非显著图像的真实场景中的表现如何？
• RQ2 先前 SOD 数据集存在的设计偏差有哪些，SOC 如何解决？
• RQ3 显著对象属性（如运动模糊、遮挡、混乱度）如何在不同架构上影响模型性能？
• RQ4 基于属性的基准测试是否能揭示最先进 SOD 模型的弱点并引导未来的研究方向？

主要发现

• 在发表时，SOC 是最大的实例级 SOD 数据集，包含 6,000 张图像（3,000 张显著，3,000 张非显著）跨 80+ 类别。
• SOC 包含高质量的实例级显著性掩模和反映现实挑战的对象属性，相较于以往数据集能够进行更丰富的分析。
• 基准测试结果显示，在现有数据集上表现最好的模型在 SOC 上并未取得令人满意的性能，凸显现实性差距。
• 基于属性的评估展示了在如大对象、混乱、遮挡等挑战下性能的下降，指导未来的模型改进。
• 多任务和弱监督模型显示出潜力，但在 SOC 上仍落后于完全监督的单任务模型，提示实现健壮的、真实世界的 SOD 的方向。