[论文解读] S4OD: Semi-Supervised learning for Single-Stage Object Detection

Yueming Zhang, Xingxu Yao+8 more|arXiv (Cornell University)|Apr 9, 2022

Video Surveillance and Tracking Methods被引用 4

一句话总结

该论文提出S4OD，一种用于单阶段目标检测器的半监督学习框架，通过引入用于伪标签选择的动态自适应阈值（DSAT）以及用于评估回归不确定性的NMS-UNC模块，解决了严重的前景-背景类别不平衡问题。仅使用10%的标注COCO数据，S4OD在FCOS上达到35.0% AP，在RetinaNet上达到32.9% AP，创下新的最先进性能记录。

ABSTRACT

Single-stage detectors suffer from extreme foreground-background class imbalance, while two-stage detectors do not. Therefore, in semi-supervised object detection, two-stage detectors can deliver remarkable performance by only selecting high-quality pseudo labels based on classification scores. However, directly applying this strategy to single-stage detectors would aggravate the class imbalance with fewer positive samples. Thus, single-stage detectors have to consider both quality and quantity of pseudo labels simultaneously. In this paper, we design a dynamic self-adaptive threshold (DSAT) strategy in classification branch, which can automatically select pseudo labels to achieve an optimal trade-off between quality and quantity. Besides, to assess the regression quality of pseudo labels in single-stage detectors, we propose a module to compute the regression uncertainty of boxes based on Non-Maximum Suppression. By leveraging only 10% labeled data from COCO, our method achieves 35.0% AP on anchor-free detector (FCOS) and 32.9% on anchor-based detector (RetinaNet).

研究动机与目标

• 为了解决单阶段检测器在半监督学习过程中严重的前景-背景类别不平衡问题。
• 开发一种动态、自适应的策略，用于选择高质量且数量充足的伪标签，而无需手动调整超参数。
• 实现对单阶段检测器中回归质量的可靠评估，以用于伪标签过滤。
• 在仅使用极少标注数据的情况下，实现半监督单阶段目标检测的最先进性能。

提出的方法

• 提出一种动态自适应阈值（DSAT），可根据模型性能自动调整用于伪标签选择的分类分数阈值，从而在质量与数量之间取得平衡。
• 引入NMS-UNC模块，通过测量非极大值抑制（NMS）中冗余框的标准差来计算回归不确定性。
• 利用NMS-UNC生成的不确定性分数过滤低质量的回归伪标签，提升训练稳定性。
• 将DSAT与NMS-UNC整合进一个半监督训练流程，同时利用标注数据与未标注数据。
• 采用两阶段训练流程：首先，教师模型生成伪标签；其次，学生模型使用标注数据和过滤后的伪标签进行训练。
• 在DSAT中采用基于F1分数的动态阈值策略，根据训练过程中精确率与召回率的调和平均值自适应选择伪标签。

实验结果

研究问题

• RQ1 在半监督单阶段目标检测中，如何平衡伪标签的质量与数量之间的权衡？
• RQ2 动态自适应阈值策略是否能优于固定阈值消融实验中的表现？
• RQ3 如何有效测量并利用回归不确定性来过滤单阶段检测器中的伪标签？
• RQ4 所提出的方法是否仅使用COCO数据的10%标注数据即可实现最先进性能？

主要发现

• S4OD仅使用10%标注COCO数据，即在无锚点的FCOS检测器上达到35.0% AP，在基于锚点的RetinaNet上达到32.9% AP。
• DSAT策略优于最佳固定阈值（0.9）1.8% AP，证明其在自适应阈值选择方面的优越性。
• NMS-UNC的最优不确定性阈值为0.08，此时达到最高AP为31.3，对应AP@0.5为49.1，AP@0.75为33.0。
• NMS-UNC的最优得分阈值为0.4，该值在计算效率与性能之间取得平衡，优于0.3等较低阈值及0.5等较高阈值。
• 同时添加DSAT与NMS-UNC仅使训练时间增加5.55%，表明该方法在实际部署中具有可行性。
• DSAT与NMS-UNC模块具有模型无关性，无需修改网络架构即可应用于多种单阶段检测器。