[论文解读] OverFeat: Integrated Recognition, Localization and Detection using Convolutional Networks

Pierre Sermanet, David Eigen+4 more|arXiv (Cornell University)|Dec 21, 2013

Advanced Neural Network Applications参考文献 19被引用 1,333

一句话总结

OverFeat 提出了一种统一的深度学习框架，使用单一共享的卷积神经网络实现图像分类、目标定位和检测。通过应用多尺度滑动窗口并学习预测边界框偏移量，它在不进行背景训练的情况下，通过跨位置累积证据来提升检测置信度，在 ILSVRC2013 的定位和检测任务中取得了最先进性能。

ABSTRACT

We present an integrated framework for using Convolutional Networks for classification, localization and detection. We show how a multiscale and sliding window approach can be efficiently implemented within a ConvNet. We also introduce a novel deep learning approach to localization by learning to predict object boundaries. Bounding boxes are then accumulated rather than suppressed in order to increase detection confidence. We show that different tasks can be learned simultaneously using a single shared network. This integrated framework is the winner of the localization task of the ImageNet Large Scale Visual Recognition Challenge 2013 (ILSVRC2013) and obtained very competitive results for the detection and classifications tasks. In post-competition work, we establish a new state of the art for the detection task. Finally, we release a feature extractor from our best model called OverFeat.

研究动机与目标

• 开发一种统一的深度学习框架，利用单一卷积神经网络同时执行图像分类、目标定位和检测。
• 通过训练网络预测相对于每个滑动窗口的目标边界框坐标，提升定位精度。
• 通过在不同尺度和位置上累积边界框预测结果，避免使用非极大值抑制（NMS）和背景采样，从而简化检测流程。
• 证明跨任务共享特征学习可提升所有三项任务的性能，尤其在检测和定位任务中表现更优。
• 在 ImageNet ILSVRC2013 基准测试中建立目标检测与定位的新 SOTA（最先进）水平。

提出的方法

• 在输入图像上应用多尺度滑动窗口方法，由相同的共享卷积神经网络处理每个窗口。
• 网络被训练以同时预测类别概率和每个窗口的相对边界框坐标（x, y, w, h），从而实现定位功能。
• 通过在多个尺度和位置上累积边界框预测结果来提高检测置信度，而非使用非极大值抑制（NMS）。
• 检测任务的负样本在训练过程中动态选取，避免了复杂的重采样策略，降低过拟合风险。
• 模型首先在 ImageNet 分类任务上进行预训练，然后通过在图像各位置进行空间密集训练，对检测和定位任务进行微调。
• 引入一种新型损失函数，结合交叉熵用于分类任务与 L2 损失用于边界框回归，未来可扩展为基于 IOU 的优化方式。

实验结果

研究问题

• RQ1 能否有效训练单一卷积神经网络，使其同时完成分类、定位与检测？
• RQ2 学习预测目标边界框坐标在多大程度上能提升定位与检测性能？
• RQ3 通过在不同尺度和位置上累积边界框预测结果，是否可以替代非极大值抑制（NMS）并提升检测置信度？
• RQ4 在检测训练中避免显式背景采样是否能带来性能提升并简化训练过程？
• RQ5 在分类任务上预训练的统一特征提取器，是否可通过微调有效应用于定位与检测任务，而无需从头开始训练？

主要发现

• OverFeat 在 ILSVRC2013 定位竞赛中取得第一名，top-5 错误率为 29.9%，优于所有其他方法。
• 检测系统在 ILSVRC2013 竞赛中排名第三，平均精度均值（mAP）为 19.4%，后续实验中提升至 24.3% mAP。
• 该方法在检测任务上达到最先进性能，mAP 达到 24.3%，显著优于第四名方法（11.5% mAP）。
• 该方法消除了对背景采样的依赖以及复杂的重采样策略，简化了训练流程，同时保持了高精度。
• 通过使用多尺度特征图并融合低分辨率特征图的信息，提升了检测性能，增强了上下文建模能力。
• 实验证明，跨任务共享特征学习可有效提升整体性能，尤其在定位与检测任务中表现突出，且无需为每项任务单独训练模型。