[论文解读] Rethinking Pseudo Labels for Semi-Supervised Object Detection

Hengduo Li, Zuxuan Wu+2 more|arXiv (Cornell University)|Jun 1, 2021

Advanced Image and Video Retrieval Techniques被引用 6

一句话总结

本文提出了一种确定性感知的伪标签方法用于半监督目标检测，通过将定位任务建模为分类任务以估计置信度分数，从而提升定位精度并缓解类别不平衡问题。通过基于这些分数动态调整阈值并重加权损失，该方法在 COCO 和 PASCAL VOC 上实现了 1–2% 的 AP 提升，并在仅使用 1–10% 标注数据的情况下，使监督基线模型的性能最高提升 10% AP。

ABSTRACT

Recent advances in semi-supervised object detection (SSOD) are largely driven by consistency-based pseudo-labeling methods for image classification tasks, producing pseudo labels as supervisory signals. However, when using pseudo labels, there is a lack of consideration in localization precision and amplified class imbalance, both of which are critical for detection tasks. In this paper, we introduce certainty-aware pseudo labels tailored for object detection, which can effectively estimate the classification and localization quality of derived pseudo labels. This is achieved by converting conventional localization as a classification task followed by refinement. Conditioned on classification and localization quality scores, we dynamically adjust the thresholds used to generate pseudo labels and reweight loss functions for each category to alleviate the class imbalance problem. Extensive experiments demonstrate that our method improves state-of-the-art SSOD performance by 1-2% AP on COCO and PASCAL VOC while being orthogonal and complementary to most existing methods. In the limited-annotation regime, our approach improves supervised baselines by up to 10% AP using only 1-10% labeled data from COCO.

研究动机与目标

• 解决半监督目标检测（SSOD）中伪标签缺乏定位置信度的问题，该问题会限制检测性能。
• 缓解由长尾数据分布引起的 SSOD 中的类别不平衡问题，其中低频类因高置信度阈值而被过滤。
• 通过联合估计分类与定位置信度，提升伪标签质量，从而实现从教师模型到学生模型的更可靠蒸馏。
• 开发一种与现有 SSOD 方法正交且互补的方法，在无需架构重构的前提下提升最先进性能。

提出的方法

• 通过将每个边界框的每条边划分为 K 个区间，并为每个区间预测交叠可能性得分，将目标定位建模为分类问题。
• 将四个边界框边的最大分类得分的平均值作为定位质量得分，提供一种可微分的定位置信度度量。
• 结合定位质量得分与分类得分，生成确定性感知的伪标签，以同时反映检测准确性和定位精度。
• 基于组合的确定性得分，为每个类别动态设置伪标签生成的类别特定阈值，以提高可靠性。
• 使用类别特定的确定性得分对检测损失进行重加权，以缓解类别不平衡问题，对低频类别赋予更高权重。
• 将该方法集成到带有数据增强的教师-学生框架中，使学生模型从经过优化的伪标签中获得自适应监督。

实验结果

研究问题

• RQ1 如何在目标检测中有效估计定位置信度，以提升伪标签质量？
• RQ2 基于确定性得分的动态阈值化在多大程度上能提高半监督目标检测中伪标签的可靠性？
• RQ3 使用类别特定的确定性得分重加权损失函数，能否减轻 SSOD 中长尾类别分布的影响？
• RQ4 在低标注数据设置下，该方法与最先进 SSOD 方法相比，在准确率和泛化能力方面表现如何？

主要发现

• 在标准训练设置下，该方法在 COCO 和 PASCAL VOC 上相比最先进 SSOD 方法实现了 1–2% 的绝对 AP 提升。
• 在 COCO 数据集中，当标注数据仅为 1–10% 时，该方法使监督基线模型的性能最高提升 10% AP，表明其在极小监督设置下具有强大的泛化能力。
• 动态阈值化与类别级损失重加权机制显著减轻了长尾类别分布对模型收敛的负面影响。
• 将定位建模为分类任务的方法提供了一种可靠且可微分的定位质量度量，从而能够更有效地过滤低置信度的伪边界框。
• 该方法与现有 SSOD 技术正交，与最先进基线（如 Unbiased Teacher 和 Instant-Teaching）结合时表现出一致的性能增益。
• 大量消融实验验证了确定性感知伪标签与动态阈值策略对性能提升的必要性。