[论文解读] Weakly Supervised Cascaded Convolutional Networks

Ali Diba, Vivek Sharma+3 more|arXiv (Cornell University)|Nov 24, 2016

Advanced Neural Network Applications参考文献 30被引用 8

一句话总结

本文提出弱监督级联卷积网络（WCCN），一种基于仅图像级别标签的两阶段或三阶段端到端深度学习框架，用于弱监督目标检测、分类与定位。通过级联类别特定提议生成、分割和多实例学习（MIL），该方法提升了检测与分类准确率，在PASCAL VOC和ILSVRC数据集上达到最先进性能，相比两阶段基线模型mAP最高提升2.5%。

ABSTRACT

Object detection is a challenging task in visual understanding domain, and even more so if the supervision is to be weak. Recently, few efforts to handle the task without expensive human annotations is established by promising deep neural network. A new architecture of cascaded networks is proposed to learn a convolutional neural network (CNN) under such conditions. We introduce two such architectures, with either two cascade stages or three which are trained in an end-to-end pipeline. The first stage of both architectures extracts best candidate of class specific region proposals by training a fully convolutional network. In the case of the three stage architecture, the middle stage provides object segmentation, using the output of the activation maps of first stage. The final stage of both architectures is a part of a convolutional neural network that performs multiple instance learning on proposals extracted in the previous stage(s). Our experiments on the PASCAL VOC 2007, 2010, 2012 and large scale object datasets, ILSVRC 2013, 2014 datasets show improvements in the areas of weakly-supervised object detection, classification and localization.

研究动机与目标

• 解决仅有图像级别标签而无边界框标注的弱监督目标检测挑战。
• 通过集成分割与MIL的级联架构，提升对象提议质量，从而改善检测性能。
• 实现端到端训练深度网络，联合优化提议质量、定位与分类，在弱监督下实现最优。
• 展示多任务学习在弱监督视觉识别任务中深度网络的有效性。

提出的方法

• 两阶段架构首先使用带有全局平均池化的全卷积网络生成类别特定的对象提议。
• 第二阶段对提议区域应用ROI池化，提取特征，并使用图像级别标签进行多实例学习（MIL）。
• 三阶段变体在中间阶段增加一个基于第一阶段激活图的类别特定实例分割，以提升提议质量。
• 整个网络通过共享反向传播实现端到端训练，联合优化提议生成与分类。
• 该方法在提议与MIL阶段的早期卷积层之间实现权重共享，以提升特征学习效果。
• 采用级联训练流程，交替优化对象提议与MIL分类，降低对初始化的敏感性。

实验结果

研究问题

• RQ1 通过优化初始对象提议，级联深度网络架构能否提升弱监督目标检测性能？
• RQ2 在中间阶段集成弱监督实例分割是否能提升检测与分类性能？
• RQ3 与分阶段预训练相比，级联阶段的端到端训练在mAP与鲁棒性方面表现如何？
• RQ4 提议与分类阶段之间的权重共享在多大程度上提升了特征学习与定位能力？

主要发现

• 三阶段WCCN架构在PASCAL VOC 2007数据集上相比两阶段版本实现了2.5%的平均平均精度（mAP）绝对提升。
• 在同一数据集中，三阶段模型相比两阶段基线将分类top-1错误率降低了2%。
• 在PASCAL VOC 2007上，使用EdgeBox生成提议的两阶段WCCN相比SelectiveSearch实现了1.5%的mAP提升。
• 在ILSVRC 2014上，使用VGG16的三阶段WCCN达到30.4%的top-1错误率，优于基线VGG16（31.2%）与VGG16-GAP（33.4%）。
• 在WCCN生成的伪GT边界框上微调Fast R-CNN，mAP比完整WCCN流水线高出0.3%，表明提议生成质量极高。
• 消融实验确认，分割阶段显著改善了初始对象定位，减少了提议中的噪声，提升了下游检测性能。