[论文解读] ProNet: Learning to Propose Object-specific Boxes for Cascaded Neural Networks

Chen Sun, Manohar Paluri+3 more|arXiv (Cornell University)|Nov 12, 2015

Advanced Neural Network Applications参考文献 35被引用 7

一句话总结

ProNet 提出了一种级联的深度学习框架，利用多尺度全卷积网络（FCN）从图像级标注中生成特定于对象的区域提议，从而在无需边界框监督的情况下实现精确的对象分类与定位。该方法通过级联或树状结构的流水线，结合高效的提议生成与高容量分类器，在 PASCAL VOC 2012 和 MS COCO 上实现了最先进性能。

ABSTRACT

This paper aims to classify and locate objects accurately and efficiently, without using bounding box annotations. It is challenging as objects in the wild could appear at arbitrary locations and in different scales. In this paper, we propose a novel classification architecture ProNet based on convolutional neural networks. It uses computationally efficient neural networks to propose image regions that are likely to contain objects, and applies more powerful but slower networks on the proposed regions. The basic building block is a multi-scale fully-convolutional network which assigns object confidence scores to boxes at different locations and scales. We show that such networks can be trained effectively using image-level annotations, and can be connected into cascades or trees for efficient object classification. ProNet outperforms previous state-of-the-art significantly on PASCAL VOC 2012 and MS COCO datasets for object classification and point-based localization.

研究动机与目标

• 开发一种在训练过程中无需边界框标注即可实现精确对象分类与定位的方法。
• 解决仅使用图像级标签检测任意位置和尺度对象的挑战。
• 设计一种计算高效的框架，通过级联或树状结构推理实现精度与速度的平衡。
• 使强大的 CNN（如 VGG-16）能够仅在少量高置信度提议上运行，从而最小化计算开销。
• 证明仅使用图像级监督训练的多尺度全卷积网络在对象提议与定位任务中的有效性。

提出的方法

• 使用图像级标签训练一个多尺度全卷积网络（FCN），以在多个空间位置和尺度上预测对象置信度分数。
• FCN 通过在分数图中识别高分区域来生成区域提议，随后将这些区域裁剪并输入到级联结构中更强大的 CNN 中。
• 通过在不同尺度上对分数图进行全局池化来计算损失，从而实现端到端训练，而无需对象级别的标注。
• 在级联后期阶段的训练中应用困难负样本挖掘，通过在低置信度阈值以上的正样本中进行随机采样，以防止过拟合。
• 系统支持链式结构和树状结构的级联，允许针对特定领域（如车辆、动物）进行分类，从而提升效率与精度。
• 在测试阶段，仅对每张图像的前 10–20 个最高分边界框进行后续分类器处理，确保计算成本低。

实验结果

研究问题

• RQ1 仅使用图像级标签进行训练的全卷积网络能否有效提出用于下游分类的特定于对象的区域？
• RQ2 在提议区域上级联多个 CNN 相较于单阶段模型，如何提升分类与定位的准确性？
• RQ3 使用图像级标签的弱监督框架在多大程度上能匹配或超越完全监督检测方法的性能？
• RQ4 该框架对提议框数量的变化有多强的鲁棒性？达到强性能所需的最少提议数量是多少？
• RQ5 通过将相关对象类别分组，树状结构级联是否能提升效率与准确性？

主要发现

• 在 PASCAL VOC 2012 上，ProNet 实现了 87.1% 的 mAP，达到该任务的最先进水平，优于以往的弱监督方法。
• 在 PASCAL VOC 2012 验证集上，ProNet 仅使用图像级监督即实现了 15.5% 的 mAP 用于定位，超越了以往的弱监督方法。
• 在每张图像仅平均 9 个提议的情况下，ProNet 实现了 92.6% 的 top-1 分类准确率，展现出极高的效率与鲁棒性。
• 尽管未使用边界框标注，ProNet 在分类性能上仍优于 RCNN 和 Fast R-CNN，并且在定位任务上与 Fast R-CNN 表现相当，但提议数量显著更少。
• 在测试阶段，ProNet 的推理速度比 Simonyan 等人提出的多尺度特征提取方法快 3 至 6 倍，即使其使用了更强大的 VGG-16 模型。
• 该系统展现出强大的泛化能力，在 MS COCO 上也取得了高性能，证实了其在包含小尺寸和遮挡对象的大规模复杂数据集上的有效性。