[论文解读] Proposal Learning for Semi-Supervised Object Detection

Peng Tang, Chetan Ramaiah+3 more|arXiv (Cornell University)|Jan 15, 2020

Advanced Neural Network Applications参考文献 61被引用 11

一句话总结

本文提出了一种针对两阶段检测器的半监督目标检测框架，通过一种新颖的提议学习方法，同时利用有标签和无标签数据。该方法引入了一个自监督模块，包含提议位置损失和对比损失，并设计了一个基于一致性的模块，以增强分类和回归预测的鲁棒性，在结合知识蒸馏后，于COCO数据集上相比完全监督基线模型实现了2.0%的平均AP提升。

ABSTRACT

In this paper, we focus on semi-supervised object detection to boost performance of proposal-based object detectors (a.k.a. two-stage object detectors) by training on both labeled and unlabeled data. However, it is non-trivial to train object detectors on unlabeled data due to the unavailability of ground truth labels. To address this problem, we present a proposal learning approach to learn proposal features and predictions from both labeled and unlabeled data. The approach consists of a self-supervised proposal learning module and a consistency-based proposal learning module. In the self-supervised proposal learning module, we present a proposal location loss and a contrastive loss to learn context-aware and noise-robust proposal features respectively. In the consistency-based proposal learning module, we apply consistency losses to both bounding box classification and regression predictions of proposals to learn noise-robust proposal features and predictions. Our approach enjoys the following benefits: 1) encouraging more context information to delivered in the proposals learning procedure; 2) noisy proposal features and enforcing consistency to allow noise-robust object detection; 3) building a general and high-performance semi-supervised object detection framework, which can be easily adapted to proposal-based object detectors with different backbone architectures. Experiments are conducted on the COCO dataset with all available labeled and unlabeled data. Results demonstrate that our approach consistently improves the performance of fully-supervised baselines. In particular, after combining with data distillation, our approach improves AP by about 2.0% and 0.9% on average compared to fully-supervised baselines and data distillation baselines respectively.

研究动机与目标

• 通过在半监督学习中利用无标签数据，提升两阶段目标检测器的性能。
• 解决由于缺乏真实标注而难以在无标签数据上训练目标检测器的挑战。
• 在不依赖无标签样本标签的情况下，学习上下文感知且抗噪声的提议特征与预测。
• 设计一个可泛化的框架，兼容基于提议的检测器中多种主干网络架构。
• 探索提议学习与知识蒸馏之间的协同效应，以实现进一步的性能提升。

提出的方法

• 引入一种自监督提议学习模块，通过提议位置损失鼓励学习上下文感知的特征表示，方法为预测提议位置。
• 在噪声和原始提议特征上应用对比损失，以学习抗噪声的表示，其中噪声直接施加于特征以提升训练效率。
• 应用基于一致性的提议学习模块，包含双重一致性损失：一个用于原始与噪声特征之间的边界框分类预测一致性，另一个用于回归预测的一致性。
• 对原始与噪声提议使用相同的特征提取器，以共享计算并提升训练效率。
• 将提议学习模块集成到Faster R-CNN中，结合特征金字塔网络和RoIAlign，支持多种主干网络架构。
• 将所提方法与知识蒸馏及快速随机权重平均（FSWA）结合，以进一步提升性能。

实验结果

研究问题

• RQ1 自监督学习能否有效应用于改进半监督目标检测中的提议特征学习？
• RQ2 在提议特征的噪声版本与原始版本之间保持预测一致性，如何增强目标检测的鲁棒性？
• RQ3 当在有标签和无标签数据上联合训练时，提议学习能在多大程度上提升两阶段检测器的性能？
• RQ4 所提方法是否与现有的知识蒸馏技术在半监督目标检测中具有互补性？
• RQ5 该框架能否在不同主干网络架构的两阶段检测器中实现良好泛化？

主要发现

• 当与知识蒸馏结合时，所提方法在COCO test-dev2017数据集上相比完全监督基线模型，平均AP提升了2.0%。
• 单独使用时，该方法性能与知识蒸馏相当，证明其在半监督设置下的有效性。
• 提议学习与知识蒸馏结合后，在ResNet-50上达到39.6% AP，在ResNet-101上达到41.3% AP，在ResNeXt-101-32×4d上达到42.8% AP，在ResNeXt-101-32×4d+DCN上达到46.2% AP。
• 与仅使用知识蒸馏相比，该方法在平均AP上额外提升了0.9%，表明存在互补增益。
• 快速随机权重平均（FSWA）为所提方法带来的性能增益高于完全监督基线，凸显其与该框架的协同效应。
• 消融实验验证了自监督模块与基于一致性的模块均对性能有显著贡献，完整方法优于所有消融变体。