[论文解读] Unbiased Teacher for Semi-Supervised Object Detection

Yen‐Cheng Liu, Chih‐Yao Ma+7 more|arXiv (Cornell University)|Feb 18, 2021

Advanced Neural Network Applications参考文献 43被引用 28

一句话总结

Unbiased Teacher 同时训练教师与学生进行半监督目标检测，使用 EMA 来 refine 伪标签并利用焦点损失解决类别不平衡，在低标注场景下对 COCO 和 VOC 实现了最先进的提升。

ABSTRACT

Semi-supervised learning, i.e., training networks with both labeled and unlabeled data, has made significant progress recently. However, existing works have primarily focused on image classification tasks and neglected object detection which requires more annotation effort. In this work, we revisit the Semi-Supervised Object Detection (SS-OD) and identify the pseudo-labeling bias issue in SS-OD. To address this, we introduce Unbiased Teacher, a simple yet effective approach that jointly trains a student and a gradually progressing teacher in a mutually-beneficial manner. Together with a class-balance loss to downweight overly confident pseudo-labels, Unbiased Teacher consistently improved state-of-the-art methods by significant margins on COCO-standard, COCO-additional, and VOC datasets. Specifically, Unbiased Teacher achieves 6.8 absolute mAP improvements against state-of-the-art method when using 1% of labeled data on MS-COCO, achieves around 10 mAP improvements against the supervised baseline when using only 0.5, 1, 2% of labeled data on MS-COCO.

研究动机与目标

• 识别半监督目标检测（SS-OD）中伪标签化和类别不平衡的挑战。
• 提出一个教师-学生框架，迭代改进伪标签质量。
• 证明基于 EMA 的教师改进和焦点损失可以提升 COCO 与 VOC 数据集上 SS-OD 的性能。

提出的方法

• 引入 Burn-In 阶段，使用带标签数据初始化检测器。
• 使用教师-学生互学习循环，其中教师为学生生成伪标签，学生通过指数移动平均 EMA 更新教师。
• 通过 focal loss 对 ROI 分类应用类别均衡监督，以减轻伪标签偏倚。
• 对教师使用弱增强，对学生使用强增强，以鼓励产生多样化的伪标签。
• 在使用伪标签时将学生的更新与教师分离，以防止噪声标签的反馈。
• 将教师表示为学生权重的指数移动平均，从而形成一个稳定的时间集成。

实验结果

研究问题

• RQ1 一个相互演化的教师-学生框架是否能减少 SS-OD 中的伪标签偏倚？
• RQ2 基于 EMA 的教师改进是否在训练过程中产生更准确、稳定的伪标签？
• RQ3 焦点损失如何影响伪标签的类别不平衡效应以及整体检测器性能？
• RQ4 增强策略对伪标签质量和检测精度的影响如何？

主要发现

• Unbiased Teacher 在相对于之前的 SS-OD 方法上取得了显著的绝对 mAP 增益，尤其是在标记数据极少的情况下（例如 COCO-standard 的 1% 标注）。
• 基于 EMA 的教师改进与焦点损失共同产生更准确、更加平衡的伪标签，降低标签分布差异（更低的 KL 散度）并提升 mAP。
• 该方法在 COCO-standard、COCO-additional 和 VOC 上，在多种标注数据场景下都获得显著提升，优于 CSD 与 STAC 基线。
• 消融研究表明，EMA 与焦点损失独立或联合使用均对提升性能和实现更平衡的伪标签分布有贡献。