[论文解读] Scalable Object Detection using Deep Neural Networks

Dumitru Erhan, Christian Szegedy+2 more|arXiv (Cornell University)|Dec 8, 2013

Advanced Neural Network Applications参考文献 2被引用 36

一句话总结

本文提出 DeepMultiBox，一种无类别依赖的对象检测方法，通过单一深度神经网络（DNN）为每张图像预测多个边界框和置信度分数，实现可扩展、高效的多实例检测与跨类别泛化。该方法在 VOC2007 和 ILSVRC2012 上实现了具有竞争力的准确率，且每张图像仅评估 5–10 个最高分候选框，与每类别检测器相比显著降低了计算成本。

ABSTRACT

Deep convolutional neural networks have recently achieved state-of-the-art performance on a number of image recognition benchmarks, including the ImageNet Large-Scale Visual Recognition Challenge (ILSVRC-2012). The winning model on the localization sub-task was a network that predicts a single bounding box and a confidence score for each object category in the image. Such a model captures the whole-image context around the objects but cannot handle multiple instances of the same object in the image without naively replicating the number of outputs for each instance. In this work, we propose a saliency-inspired neural network model for detection, which predicts a set of class-agnostic bounding boxes along with a single score for each box, corresponding to its likelihood of containing any object of interest. The model naturally handles a variable number of instances for each class and allows for cross-class generalization at the highest levels of the network. We are able to obtain competitive recognition performance on VOC2007 and ILSVRC2012, while using only the top few predicted locations in each image and a small number of neural network evaluations.

研究动机与目标

• 解决传统对象检测器在类别数量增加时因每类单独训练模型而产生的可扩展性限制。
• 实现在单张图像中高效检测同一对象类别的多个实例。
• 通过联合表示学习与定位学习，开发一种可在不同对象类别间泛化的检测框架，甚至对未见类别也具备泛化能力。
• 通过仅预测最可能的对象候选框，而非全面扫描所有位置与尺度，减少每张图像的网络评估次数。
• 通过训练单一定位模型，实现在不同数据集间的迁移学习，使模型可在无需微调的情况下检测新类别中的对象。

提出的方法

• 该模型使用深度卷积神经网络（DNN）预测固定数量的无类别依赖边界框，并为每个框输出置信度分数，其中坐标经归一化处理以实现尺度不变性。
• 每个边界框由四个归一化坐标（x_min, y_min, x_max, y_max）表示，通过 DNN 最后一层隐藏层的线性变换输出。
• 提出一种新型损失函数，解决预测框与真实框之间的匹配问题，通过反向传播同时更新框坐标、置信度分数和特征表示。
• 该方法采用非极大值抑制（NMS）过滤重叠预测，仅保留置信度最高的框用于分类。
• 对象检测分为两个阶段：第一阶段，DNN 预测候选框；第二阶段，独立分类器为排名靠前的框分配类别标签。
• 模型端到端训练，联合学习特征表示与定位预测器，充分利用深度网络的表征能力。

实验结果

研究问题

• RQ1 单一深度神经网络是否可在无需每类别单独检测器的情况下，预测图像中多个对象的位置？
• RQ2 无类别依赖的定位方法是否能泛化到训练过程中未见的对象类别？
• RQ3 基于 DNN 的多边界框回归方法是否可在减少所需网络评估次数的同时，实现具有竞争力的检测性能？
• RQ4 与每类别一个框及传统 DPM 风格检测器相比，该方法在准确率与可扩展性方面表现如何？
• RQ5 在 ImageNet 上训练的定位模型在 VOC 数据集上检测对象（包括未见类别）的能力有多强？

主要发现

• 在 ILSVRC2012 验证集上，DeepMultiBox 仅使用前 10 个预测框即达到 59.06% 的检测准确率，接近每类别一个框方法（61.00%）的性能，但网络评估次数显著减少。
• 该方法展现出跨数据集泛化能力：在 VOC 测试集上，ImageNet 训练的定位模型检测到的 VOC 对象数量多于在 VOC 上训练的模型，表明其具备更广泛的特征学习能力。
• 即使仅评估 5–10 个最高分框，DeepMultiBox 的检测性能仍与最先进方法相当，展现出极高的效率。
• 该模型成功检测了同一对象类别的多个实例，而每类别一个框的方法在处理此类情况时需重新训练或修改。
• 无类别依赖的检测方法实现了迁移学习，即在 ImageNet 上训练的模型无需微调即可在 VOC 上检测对象，得益于共享的特征表示。
• 该方法以极低的推理成本实现高性能——每张图像仅需 5–10 次网络评估，使其可扩展至大量类别。