[论文解读] ScaleNet: Guiding Object Proposal Generation in Supermarkets and Beyond

Siyuan Qiao, Wei Shen+3 more|arXiv (Cornell University)|Apr 22, 2017

Advanced Neural Network Applications参考文献 38被引用 13

一句话总结

该论文提出ScaleNet，一种尺度感知的物体提议框架，通过在生成提议前预测物体尺度分布，显著提升了在拥挤超市和自然图像中的检测性能。通过利用ScaleNet引导特定尺度的特征提取，该方法在超市和MS COCO数据集上均显著提高了召回率，其中在COCO数据集上的AR@1k最高提升15.6%，在真实超市数据上的提升超过20%。

ABSTRACT

Motivated by product detection in supermarkets, this paper studies the problem of object proposal generation in supermarket images and other natural images. We argue that estimation of object scales in images is helpful for generating object proposals, especially for supermarket images where object scales are usually within a small range. Therefore, we propose to estimate object scales of images before generating object proposals. The proposed method for predicting object scales is called ScaleNet. To validate the effectiveness of ScaleNet, we build three supermarket datasets, two of which are real-world datasets used for testing and the other one is a synthetic dataset used for training. In short, we extend the previous state-of-the-art object proposal methods by adding a scale prediction phase. The resulted method outperforms the previous state-of-the-art on the supermarket datasets by a large margin. We also show that the approach works for object proposal on other natural images and it outperforms the previous state-of-the-art object proposal methods on the MS COCO dataset. The supermarket datasets, the virtual supermarkets, and the tools for creating more synthetic datasets will be made public.

研究动机与目标

• 解决在产品小、外观相似且聚集的高密度超市图像中生成准确物体提议的挑战。
• 通过预测图像中的主导物体尺度来缩小物体提议的搜索空间，从而提升效率和准确性。
• 开发一种可泛化的框架，能够从合成训练数据有效迁移到真实世界超市和自然图像数据集。
• 证明尺度预测可显著提升现有物体提议网络（如SharpMask）的性能。
• 公开发布三个新数据集——两个真实世界超市数据集和一个大规模合成数据集——供公众使用。

提出的方法

• ScaleNet是一种深度神经网络，用于预测图像中物体尺度的分布，定义为物体尺寸（最大宽度/高度）与图像尺寸（最大宽度/高度）的比值。
• 预测的尺度分布用于指导图像在输入基础物体提议网络（如SharpMask）前的重缩放，从而在估计的尺度上生成提议。
• 该框架采用两阶段流程：首先，ScaleNet估计尺度范围；其次，将输入图像重缩放至这些范围，并由深度物体提议模型处理。
• 使用计算机图形技术生成了一个大规模合成超市数据集，包含154,238个训练样本和80,452个验证样本，以支持鲁棒训练。
• 通过在COCO和合成数据上微调ScaleNet，并在未使用真实数据进行训练的情况下测试其在真实超市数据集上的性能，对方法进行评估。
• 该方法与现有提议网络兼容，可作为预处理步骤集成以增强其性能。

实验结果

研究问题

• RQ1 在拥挤超市场景中，预测图像的物体尺度分布是否能显著提升物体提议性能？
• RQ2 在具有稀疏、聚集物体尺度的数据集中，尺度感知的提议框架是否优于通用物体提议方法？
• RQ3 在未使用真实数据进行微调的情况下，仅在合成超市数据上训练的模型是否能有效泛化到真实世界超市图像数据集？
• RQ4 尺度预测在低提议数量（如10、100、1000）下，能在多大程度上减少误报并提升召回率？
• RQ5 在COCO和超市专用基准上，该方法与当前最先进物体提议网络（如SharpMask和DeepMask）相比表现如何？

主要发现

• 在Real-Near超市数据集上，所提方法实现了AR@1000为0.578，相比之前最先进方法（0.500）提升了15.6%。
• 在Real-Far数据集上，该方法实现了AR@1000为0.557，相比之前最先进方法（0.495）提升了12.5%。
• 在MS COCO数据集上，该方法在边界框提议任务中实现了AR@1000为0.578，相比之前最佳方法（0.500）相对提升了15.6%。
• 在COCO的分割提议任务中，该方法实现了AR@1000为0.448，相比之前最先进方法（0.392）提升了12.5%。
• 在Real-Near数据集上，该方法在AR@100上实现了20%以上的相对提升，表明在低提议数量下性能显著增强。
• 仅在合成数据和COCO上训练的模型能良好泛化到真实超市数据，且训练过程中未使用任何真实数据。