[论文解读] Semi-supervised Object Detection: A Survey on Recent Research and Progress

Yanyang Wang, Zhaoxiang Liu+1 more|arXiv (Cornell University)|Jun 25, 2023

Advanced Neural Network Applications被引用 5

一句话总结

本综述全面概述了半监督目标检测（SSOD）方法，将其分类为伪标签法、一致性正则化、基于图的方法以及迁移学习策略。在MS-COCO和PASCAL-VOC数据集上展示了最先进结果，即使在低标签设置下，Dense Teacher和Label Match等方法分别实现了超过37%和56.8%的AP50:95得分。

ABSTRACT

In recent years, deep learning technology has been maturely applied in the field of object detection, and most algorithms tend to be supervised learning. However, a large amount of labeled data requires high costs of human resources, which brings about low efficiency and limitations. Semi-supervised object detection (SSOD) has been paid more and more attentions due to its high research value and practicability. It is designed to learn information by using small amounts of labeled data and large amounts of unlabeled data. In this paper, we present a comprehensive and up-to-date survey on the SSOD approaches from five aspects. We first briefly introduce several ways of data augmentation. Then, we dive the mainstream semi-supervised strategies into pseudo labels, consistent regularization, graph based and transfer learning based methods, and introduce some methods in challenging settings. We further present widely-used loss functions, and then we outline the common benchmark datasets and compare the accuracy among different representative approaches. Finally, we conclude this paper and present some promising research directions for the future. Our survey aims to provide researchers and practitioners new to the field as well as more advanced readers with a solid understanding of the main approaches developed over the past few years.

研究动机与目标

• 为应对大规模数据集标注成本高昂的问题，系统性回顾半监督目标检测（SSOD）的最新进展。
• 基于核心策略（如伪标签法、一致性正则化、基于图的学习和迁移学习）对SSOD方法进行分析与分类。
• 使用标准指标（AP50、AP50:95）在MS-COCO和PASCAL-VOC等标准基准上评估领先SSOD方法的性能。
• 识别关键挑战，如确认偏见、噪声伪标签以及未标记数据中的类别不平衡问题，并提出未来研究方向。
• 为进入SSOD领域的研究人员和从业者提供基础参考，提供对方法创新与实际权衡的深入见解。

提出的方法

• 将SSOD方法划分为四大主要策略：伪标签法、一致性正则化、基于图的方法以及基于迁移学习的技术。
• 回顾数据增强技术，特别是强增强方法，以提升模型在不同增强视图下的鲁棒性与预测一致性。
• 分析广泛使用的损失函数，包括交叉熵损失和一致性损失，以优化使用有标签和无标签数据的模型训练。
• 使用MS-COCO和PASCAL-VOC等标准基准评估方法，训练协议采用1%或5%的有标签数据，其余为无标签数据。
• 引入先进技术如软标签、密集引导和基于点的标签，以提升伪标签质量，减少对NMS和阈值处理的依赖。
• 基于训练流程提出SSOD框架的分类体系，包括教师-学生蒸馏、迭代优化和自训练机制。

Figure 1: Taxonomy of SSOD from the process perspective.

实验结果

研究问题

• RQ1 在目标检测基准上，不同半监督策略（伪标签法、一致性正则化、基于图的方法、迁移学习）在性能和鲁棒性方面如何比较？
• RQ2 生成高质量伪标签的关键挑战是什么？近期方法如何缓解确认偏见和噪声标签等问题？
• RQ3 不同标签形式（如软标签、点标签、密集引导）在低标签数据设置下如何影响检测精度和训练效率？
• RQ4 当前SSOD方法在存在类别不平衡或噪声的未标记数据的真实世界场景中，其泛化能力如何？
• RQ5 在半监督目标检测中，哪些数据增强和损失函数组合最有效，能提升模型泛化能力？

主要发现

• Dense Teacher在仅使用1%有标签数据的情况下，于MS-COCO上实现了37.13±0.12的AP50:95得分，证明了密集引导和软标签学习的有效性。
• Label Match在PASCAL-VOC上实现了最高的56.80±0.18的AP50:95得分，通过利用高质量伪标签和平衡的教师提议，超越了其他方法。
• Soft Teacher和Cross Rectify等方法在仅使用1%有标签数据时，于MS-COCO上实现了超过34%的AP50:95得分，表明在低监督设置下具有强大性能。
• 使用软标签和平衡的区域提议显著提升了性能，减少了对NMS和阈值处理等后处理步骤的依赖。
• 当前最先进方法对噪声未标记数据表现出强鲁棒性，但当未标记集中存在类别不平衡时，性能会下降。
• 强数据增强与一致性正则化的结合在多个基准上均带来一致改进，尤其在低数据设置下表现突出。

Figure 2: The generation process of pseudo labels.