[论文解读] Salient Objects in Clutter

Deng-Ping Fan, Jing Zhang+3 more|arXiv (Cornell University)|May 7, 2021

Visual Attention and Saliency Detection被引用 13

一句话总结

本文识别出现有显著性物体检测（SOD）数据集中存在的关键数据偏差——场景过于简单、杂乱程度低，并提出了 Salient Objects in Clutter（SOC）数据集以解决该问题。通过引入具有显著与非显著物体的、真实且密集标注的图像，以及详细的属性信息，作者证明了通过标签平滑、数据增强和自监督学习等方法提升数据质量，所能带来的性能增益远超仅改进模型架构的效果。

ABSTRACT

This paper identifies and addresses a serious design bias of existing salient object detection (SOD) datasets, which unrealistically assume that each image should contain at least one clear and uncluttered salient object. This design bias has led to a saturation in performance for state-of-the-art SOD models when evaluated on existing datasets. However, these models are still far from satisfactory when applied to real-world scenes. Based on our analyses, we propose a new high-quality dataset and update the previous saliency benchmark. Specifically, our dataset, called Salient Objects in Clutter~ extbf{(SOC)}, includes images with both salient and non-salient objects from several common object categories. In addition to object category annotations, each salient image is accompanied by attributes that reflect common challenges in common scenes, which can help provide deeper insight into the SOD problem. Further, with a given saliency encoder, e.g., the backbone network, existing saliency models are designed to achieve mapping from the training image set to the training ground-truth set. We, therefore, argue that improving the dataset can yield higher performance gains than focusing only on the decoder design. With this in mind, we investigate several dataset-enhancement strategies, including label smoothing to implicitly emphasize salient boundaries, random image augmentation to adapt saliency models to various scenarios, and self-supervised learning as a regularization strategy to learn from small datasets. Our extensive results demonstrate the effectiveness of these tricks. We also provide a comprehensive benchmark for SOD, which can be found in our repository: https://github.com/DengPingFan/SODBenchmark.

研究动机与目标

• 解决现有SOD数据集中长期被忽视的数据选择偏差问题，该问题假设每张图像仅包含一个显著、无杂乱的显著物体。
• 开发一个反映真实世界视觉复杂性的新基准数据集（SOC），其中同时包含显著与非显著物体。
• 探究提升训练数据质量是否能带来比优化模型架构更大的性能增益。
• 提供一个全面的SOD基准，包含详细的标注信息，如物体类别和属性，以反映现实世界中的挑战。
• 识别SOD领域在数据、任务、模型、监督、评估和应用等层面的未来研究方向。

提出的方法

• 提出 Salient Objects in Clutter（SOC）数据集，其中包含来自常见类别、具有显著与非显著物体的真实世界场景图像。
• 对每张显著图像进行实例级真实标签掩码、物体类别标签以及属性（如HO、OC、SC、SO）的标注，以反映现实世界中的挑战，如遮挡和杂乱。
• 应用标签平滑技术，在训练过程中隐式强调显著边界，从而提升定位精度。
• 使用随机图像增强技术，提升模型在多样化真实世界场景下的泛化能力。
• 引入自监督学习作为正则化策略，以提升小样本数据集上的模型性能。
• 基于新SOC数据集对100多个SOD模型进行全面基准测试，并在多个指标上评估性能表现。

Figure 2: Taxonomy of the saliency detection task. We highlight the scope of this study in gray. See $\S$ 2 for details.

实验结果

研究问题

• RQ1 SOD数据集中当前存在的设计偏差（偏好简单、无杂乱的场景）在多大程度上限制了模型在真实世界应用中的泛化能力？
• RQ2 一个更真实、密集标注的数据集（如SOC）是否能带来显著的SOD性能提升，超越架构创新？
• RQ3 诸如标签平滑、数据增强和自监督学习等数据驱动策略，在提升SOD模型性能方面的有效性如何？
• RQ4 当前SOD模型难以应对的关键现实世界挑战（如遮挡、杂乱、小物体）有哪些？如何在数据集中更好地捕捉这些挑战？
• RQ5 如何改革评估指标与基准测试实践，以更准确反映真实世界SOD应用的需求？

主要发现

• SOC数据集引入了一个新基准，对100多个SOD模型进行了评估，表明数据质量对性能的影响远超模型设计本身。
• 标签平滑通过强调边缘区域，提升了边界定位能力，显著改善了F-measure与IoU指标。
• 随机数据增强提升了模型在多样化真实世界场景下的鲁棒性，尤其在遮挡与杂乱条件下表现更优。
• 自监督学习策略在小样本数据集上提升了模型性能，减少了过拟合并增强了泛化能力。
• 基准测试显示，当前最先进模型在复杂、杂乱场景中仍表现不佳，表明亟需更优的数据驱动训练策略。
• 作者结论认为，数据集增强所能带来的性能增益远超仅依赖架构创新，因此倡导未来SOD研究应采用数据驱动范式。

Figure 6: Left: Attribute distribution over salient object images in our SOC dataset. Each number in the grid indicates the number of occurrences. Right: The dominant dependencies among attributes based on the frequency of occurrences. A larger link width indicates a higher probability of an attribu