[论文解读] Semi-supervised Object Detection via Virtual Category Learning

Changrui Chen, Kurt Debattista+1 more|arXiv (Cornell University)|Jul 7, 2022

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出虚拟类别（VC）学习用于弱监督目标检测，其中将难以标注的混淆样本分配给一个虚拟类别，以实现无需依赖正确伪标签的安全训练。通过定义类别间距离的下界并使用改进的交叉熵损失，该方法避免了确认偏见，并在 COCO 数据集上仅使用 1% 标注数据时实现了最先进（SOTA）的 mAP 性能。

ABSTRACT

Due to the costliness of labelled data in real-world applications, semi-supervised object detectors, underpinned by pseudo labelling, are appealing. However, handling confusing samples is nontrivial: discarding valuable confusing samples would compromise the model generalisation while using them for training would exacerbate the confirmation bias issue caused by inevitable mislabelling. To solve this problem, this paper proposes to use confusing samples proactively without label correction. Specifically, a virtual category (VC) is assigned to each confusing sample such that they can safely contribute to the model optimisation even without a concrete label. It is attributed to specifying the embedding distance between the training sample and the virtual category as the lower bound of the inter-class distance. Moreover, we also modify the localisation loss to allow high-quality boundaries for location regression. Extensive experiments demonstrate that the proposed VC learning significantly surpasses the state-of-the-art, especially with small amounts of available labels.

研究动机与目标

• 为解决弱监督目标检测（SSOD）中难以标注的混淆样本处理挑战，传统过滤方法会丢弃有价值的数据，或因噪声伪标签引发确认偏见。
• 提出一种主动利用混淆样本的方法，无需准确的标签修正，克服现有过滤或多标签策略的局限性。
• 通过引入虚拟类别（VC）作为不可靠伪标签的安全替代，提升低监督设置下的模型泛化能力和性能。
• 通过解耦水平与垂直边界质量，提升定位学习，使高质量边界在训练中引导回归。

提出的方法

• 对伪标签不可靠的混淆样本分配一个虚拟类别（VC），使用改进的交叉熵损失，将 VC 视为独立类别。
• 定义 VC，使得样本与虚拟类别之间的嵌入距离成为类别间距离的下界，从而稳定决策边界。
• 通过时间稳定性验证或跨模型验证，为每个混淆样本构建潜在类别（PC）集合，以识别可能的标签。
• 在边界框回归损失中解耦水平与垂直定位质量，优先考虑高质量边界进行训练。
• 通过教师模型的特征向量生成虚拟权重，并应用数据增强以提升鲁棒性，尽管强增强会轻微降低性能。
• 使用缩放因子对虚拟权重的范数进行归一化，以匹配标准分类器权重，消融实验表明在 3.5 时性能最佳。

实验结果

研究问题

• RQ1 在弱监督目标检测中，是否可以有效利用难以标注的混淆样本，而无需依赖准确的标签修正？
• RQ2 如何设计虚拟类别，使其在避免噪声伪标签引发的确认偏见的同时，安全地促进模型优化？
• RQ3 解耦水平与垂直定位质量对弱监督检测中的回归性能有何影响？
• RQ4 不同方法构建潜在类别集合（如时间稳定性 vs. 跨模型验证）对整体 mAP 的影响如何？
• RQ5 哪些超参数（如缩放因子、定位质量阈值）对所提出的 VC 学习方法性能影响最大？

主要发现

• 所提出的 VC 学习方法在 1% 标注 MS COCO 数据上达到 20.81 mAP，显著优于基线方法和现有最先进方法，在低监督设置下表现优异。
• 使用跨模型验证构建潜在类别集合可达到 20.96 mAP，较基线提升 0.96 个百分点，证明了类似协同训练机制的优势。
• 采用时间稳定性验证时，性能下降从基线的 19.51 mAP 降低至 20.81 mAP，表明方法具备鲁棒性与有效性。
• 消融实验确认，用于虚拟权重生成的强数据增强会轻微降低性能，可能由于剧烈扰动导致特征空间漂移。
• 虚拟权重的最优缩放因子为 3.5，此时 mAP 最高；定位质量阈值为 0.05 时，在稳定性和性能间取得最佳平衡。
• 在 10% 标注数据下，该方法仍取得最高 mAP，尽管相对增益较小，这是由于基线检测器性能更好且混淆样本更少。