[论文解读] PseCo: Pseudo Labeling and Consistency Training for Semi-Supervised Object Detection

Gang Li, Xiang Li+4 more|arXiv (Cornell University)|Mar 30, 2022

Advanced Neural Network Applications被引用 7

一句话总结

PseCo 提出了一种半监督目标检测框架，通过解决检测任务特有的挑战——如伪框中的噪声定位和尺度敏感性——来增强伪标签生成与一致性训练。该方法引入了噪声伪框学习（NPL），结合预测引导的标签分配与正样本提议一致性投票，以实现对噪声伪框的鲁棒训练；同时提出多视角尺度不变学习（MSL），通过联合标签级与特征级一致性来提升尺度不变性。在 COCO 数据集上，PseCo 在 1%、5% 和 10% 标注数据比例下分别相对于 Soft Teacher 实现了 2.0、1.8 和 2.0 mAP 的性能提升，同时将训练时间减少一半。

ABSTRACT

In this paper, we delve into two key techniques in Semi-Supervised Object Detection (SSOD), namely pseudo labeling and consistency training. We observe that these two techniques currently neglect some important properties of object detection, hindering efficient learning on unlabeled data. Specifically, for pseudo labeling, existing works only focus on the classification score yet fail to guarantee the localization precision of pseudo boxes; For consistency training, the widely adopted random-resize training only considers the label-level consistency but misses the feature-level one, which also plays an important role in ensuring the scale invariance. To address the problems incurred by noisy pseudo boxes, we design Noisy Pseudo box Learning (NPL) that includes Prediction-guided Label Assignment (PLA) and Positive-proposal Consistency Voting (PCV). PLA relies on model predictions to assign labels and makes it robust to even coarse pseudo boxes; while PCV leverages the regression consistency of positive proposals to reflect the localization quality of pseudo boxes. Furthermore, in consistency training, we propose Multi-view Scale-invariant Learning (MSL) that includes mechanisms of both label- and feature-level consistency, where feature consistency is achieved by aligning shifted feature pyramids between two images with identical content but varied scales. On COCO benchmark, our method, termed PSEudo labeling and COnsistency training (PseCo), outperforms the SOTA (Soft Teacher) by 2.0, 1.8, 2.0 points under 1%, 5%, and 10% labelling ratios, respectively. It also significantly improves the learning efficiency for SSOD, e.g., PseCo halves the training time of the SOTA approach but achieves even better performance. Code is available at https://github.com/ligang-cs/PseCo.

研究动机与目标

• 解决现有半监督目标检测（SSOD）方法忽视目标检测关键属性（如定位精度与尺度不变性）的局限性。
• 通过使标签分配对噪声多、定位不佳的伪框更具鲁棒性，提升 SSOD 中的伪标签生成质量。
• 通过引入标签级与特征级一致性，增强一致性训练，以提升对尺度变化的鲁棒性。
• 在不牺牲性能的前提下显著提升训练效率，相比 SOTA 方法将训练时间减少 50%。
• 提供一个统一框架，将检测任务特有的归纳偏置整合进半监督学习中。

提出的方法

• 提出噪声伪框学习（NPL），其中包含预测引导的标签分配（PLA），该方法基于模型预测而非与伪框的 IoU 来分配标签，从而提升对定位误差的鲁棒性。
• 提出正样本提议一致性投票（PCV），通过评估正样本提议间的回归一致性来衡量伪框定位质量，且无需额外前向传播。
• 设计多视角尺度不变学习（MSL），通过随机缩放数据增强实现标签级一致性，并通过多尺度视图间特征金字塔的对齐实现特征级一致性。
• 采用教师-学生框架，由教师模型生成伪标签并指导学生模型训练，MSL 在训练过程中用于稳定跨尺度变化的学习。
• 使用焦点损失（Focal Loss）缓解检测任务中的类别不平衡问题，提升对难负样本的建模能力。
• 设计一个结合 NPL 与 MSL 的训练流程，实现在无标注数据上的高效且准确的学习，且仅需极少超参数调优。

实验结果

研究问题

• RQ1 如何使半监督目标检测中的伪标签生成对噪声多、定位不佳的伪框更具鲁棒性？
• RQ2 哪些机制能够有效衡量并利用伪框的定位质量，而无需依赖 IoU 阈值？
• RQ3 如何将一致性训练从仅标签级一致性拓展至包含特征级不变性，以提升对尺度变化的鲁棒性？
• RQ4 联合标签级与特征级一致性学习是否能显著提升 SSOD 的准确率与训练效率？
• RQ5 一个具备检测感知能力的半监督框架在 mAP 与训练速度方面，相较于现有方法能实现多大程度的性能超越？

主要发现

• 在使用 10% 标注数据时，PseCo 在 COCO 上达到 36.3 mAP，较 Soft Teacher 提升 2.0 mAP，性能更优。
• 在仅 1% 标注数据下，PseCo 相较 Soft Teacher 提升 2.0 mAP，展现出卓越的数据效率。
• PseCo 在性能更优的同时将训练时间减少 50%，表明其在训练效率方面具有显著优势。
• 正样本提议一致性投票（PCV）在 AP 75 上分别优于回归一致性与框抖动方法 0.9% 和 0.5%，且无需额外超参数。
• MSL 中的特征级一致性相比仅使用标签级一致性可额外提升 +1.0 mAP，验证了特征对齐的重要性。
• 与交叉熵损失相比，使用焦点损失可使 mAP 提升 0.6 分，进一步增强模型性能。