[论文解读] Salient Object Subitizing

Jianming Zhang, Shugao Ma+7 more|arXiv (Cornell University)|Jul 26, 2016

Visual Attention and Saliency Detection被引用 8

一句话总结

本文提出了显著物体速数（SOS）这一新任务，通过使用整体视觉特征而非定位信息，预测图像中显著物体的数量（1–4个或更多）。该研究提出了一种基于CNN的模型，并在新收集的14K张图像SOS数据集上进行训练，实现了零个和一个物体的预测准确率与人类水平相当，且在多个物体的预测上显著优于随机猜测，通过合成数据预训练进一步提升了性能。

ABSTRACT

We study the problem of Salient Object Subitizing, i.e. predicting the existence and the number of salient objects in an image using holistic cues. This task is inspired by the ability of people to quickly and accurately identify the number of items within the subitizing range (1-4). To this end, we present a salient object subitizing image dataset of about 14K everyday images which are annotated using an online crowdsourcing marketplace. We show that using an end-to-end trained Convolutional Neural Network (CNN) model, we achieve prediction accuracy comparable to human performance in identifying images with zero or one salient object. For images with multiple salient objects, our model also provides significantly better than chance performance without requiring any localization process. Moreover, we propose a method to improve the training of the CNN subitizing model by leveraging synthetic images. In experiments, we demonstrate the accuracy and generalizability of our CNN subitizing model and its applications in salient object detection and image retrieval.

研究动机与目标

• 将显著物体速数（SOS）作为一项整体图像分类任务进行形式化与研究，受人类对小数量（1–4）的速数能力启发。
• 通过众包方式收集并发布一个大规模、多样化的约14K张日常图像数据集，标注其中显著物体的数量。
• 开发一个端到端的CNN模型，仅使用全局图像特征预测显著物体的存在与数量，无需物体定位。
• 通过合成数据增强提升模型的泛化能力与性能，尤其针对如三个物体等稀有计数。
• 展示SOS在下游任务（如显著物体检测与基于内容的图像检索）中的实用性。

提出的方法

• 使用Amazon Mechanical Turk收集14K张图像数据集，通过众包方式标注显著物体数量（1、2、3或4+个）。
• 将SOS建模为一个多类别图像分类问题，输出类别为：0、1、2、3和4+个显著物体。
• 在真实SOS数据集上训练一个端到端的卷积神经网络（CNN），从全局图像特征预测显著物体数量。
• 通过将分割物体与背景图像组合，生成20K张合成图像，用于模拟不同物体数量，作为CNN的预训练数据。
• 在合成数据上预训练后，通过在真实数据上微调CNN，提升模型泛化能力，尤其显著改善了2、3和4+个物体的预测性能。
• 将训练好的SOS模型作为插件模块集成到显著物体检测与图像检索流程中，替代或增强传统基于标签的方法。

实验结果

研究问题

• RQ1 基于深度CNN的模型能否仅使用全局图像特征，实现与人类相当的性能，准确预测图像中显著物体的数量（1–4个）？
• RQ2 在训练过程中引入合成数据，如何影响SOS模型的泛化能力与准确率，特别是对如三个物体等低频计数的提升？
• RQ3 与基线方法相比，SOS模型在显著物体检测与基于内容的图像检索任务中的性能提升程度如何？
• RQ4 CNN是否学习到通用的、与类别无关的视觉模式，使其具备区分性速数能力，而非依赖于特定物体身份？
• RQ5 SOS模型在图像检索中处理数量-物体查询时是否表现良好，尤其当传统基于文本的方法对特定物体类型（如人物）的计数标签存在偏差时？

主要发现

• 基于CNN的SOS模型在识别不含显著物体或仅含一个显著物体的图像时，预测准确率与人类水平相当。
• 对于包含多个显著物体的图像，该模型在无需物体定位的情况下，实现了显著优于随机猜测的性能。
• 在20K张合成图像上进行预训练后，检测2、3和4+个显著物体的平均精度（AP）绝对提升了2%以上，其中三个物体的AP绝对提升达6%。
• 该模型在未见过的物体类别上表现出强大的泛化能力，表明所学特征具有通用性，而非特定于某类物体。
• 在图像检索任务中，SOS方法优于基线方法与基于文本的方法，尤其在涉及多个物体的查询中表现更优，得益于其类别无关的特性。
• SOS模型通过提供显著物体数量的先验信息，改进了当前最先进的显著物体检测方法，实现了更优的候选框生成。