[论文解读] Scalable, High-Quality Object Detection

Christian Szegedy, Scott Reed+3 more|arXiv (Cornell University)|Dec 3, 2014

Advanced Neural Network Applications参考文献 29被引用 337

一句话总结

该论文提出了一种可学习、可扩展的多尺度卷积多框（MSC-MultiBox）目标建议方法，利用深层卷积网络与多尺度预测器生成高质量、排序后的区域建议。该方法在 ILSVRC 2014 上实现了单模型 0.50 的 mAP 和集成模型 0.52 的 mAP，性能超越了人工设计的方法（如 Selective Search 和 MCG），并通过可学习的建议排序机制实现了高效的运行时-质量权衡。

ABSTRACT

Current high-quality object detection approaches use the scheme of salience-based object proposal methods followed by post-classification using deep convolutional features. This spurred recent research in improving object proposal methods. However, domain agnostic proposal generation has the principal drawback that the proposals come unranked or with very weak ranking, making it hard to trade-off quality for running time. This raises the more fundamental question of whether high-quality proposal generation requires careful engineering or can be derived just from data alone. We demonstrate that learning-based proposal methods can effectively match the performance of hand-engineered methods while allowing for very efficient runtime-quality trade-offs. Using the multi-scale convolutional MultiBox (MSC-MultiBox) approach, we substantially advance the state-of-the-art on the ILSVRC 2014 detection challenge data set, with $0.5$ mAP for a single model and $0.52$ mAP for an ensemble of two models. MSC-Multibox significantly improves the proposal quality over its predecessor MultiBox~method: AP increases from $0.42$ to $0.53$ for the ILSVRC detection challenge. Finally, we demonstrate improved bounding-box recall compared to Multiscale Combinatorial Grouping with less proposals on the Microsoft-COCO data set.

研究动机与目标

• 通过利用深度学习实现端到端建议生成，弥合可学习方法与人工设计的目标建议方法之间的性能差距。
• 通过学习一个排序建议系统，实现目标检测中高效的运行时-质量权衡，从而支持通过阈值过滤实现速度或精度的灵活调整。
• 通过将上下文建模与多尺度卷积预测器整合到可扩展的、与类别无关的建议框架中，提升检测性能。
• 证明数据驱动的建议生成方法可以在质量和效率上超越传统的基于显著性的方法（如 MCG 和 Selective Search）

提出的方法

• 该方法采用基于 Inception-v3 的多尺度卷积架构，在多个特征图尺度上预测边界框坐标和置信度分数。
• 它使用一种与类别无关的建议生成器，无需类别特定的调优，从而提升可扩展性与泛化能力。
• 通过多裁剪推理生成建议：网络处理完整图像以及多个不同尺度的滑动裁剪区域，随后采用 0.85 IoU 阈值的非极大值抑制进行后处理。
• 在后分类阶段集成上下文建模组件，通过利用建议周围的空域上下文信息提升检测准确性。
• 采用异步随机梯度下降法，使用 30 个模型副本对 200 万个批次（每批大小为 32）进行建议网络的训练。
• 通过集成两个 MultiBox 生成器和三个后分类器，进一步提升性能，尤其在高精度检测设置下表现显著。

实验结果

研究问题

• RQ1 纯粹基于学习的、端到端的深度学习方法是否能够匹配或超越人工设计的基于显著性的建议方法（如 Selective Search 和 MCG）？
• RQ2 与单尺度或非学习方法相比，多尺度卷积预测器是否能显著提升建议质量与检测 mAP？
• RQ3 在后分类阶段集成上下文建模是否能带来可测量的检测准确率提升？
• RQ4 可学习的建议系统是否可以通过调整建议置信度阈值，实现灵活的运行时-质量权衡？
• RQ5 在 COCO 和 ImageNet 等标准基准上，所提出的 MSC-MultiBox 方法在召回率和 mAP 上与 MCG 等最先进方法相比表现如何？

主要发现

• MSC-MultiBox 在 ILSVRC 2014 检测挑战中，使用单个模型实现了 0.50 的平均平均精度（mAP），创下新的 SOTA 记录。
• 通过集成两个 MultiBox 生成器和三个后分类器，该方法达到 0.52 的 mAP，显著优于先前的 SOTA 方法。
• 在 Microsoft COCO 验证集上，MSC-MultiBox 在重叠阈值高达 0.75 时的每类平均召回率高于 MCG，尤其在每张图像建议数少于 200 时表现更优。
• 在 ILSVRC 2014 数据集上，建议质量从原始 MultiBox 的 AP 0.42 提升至 MSC-MultiBox 的 0.53，表明建议质量获得显著提升。
• 该方法在保持或提升检测性能的同时降低了计算成本，表明可学习的建议生成可替代昂贵的人工设计方法。
• 即使每张图像仅生成 15 个建议，该方法仍超越了 ILSVRC 2014 上的先前 SOTA 性能，证明了其高效率与高效率。