[论文解读] Virtual Category Learning: A Semi-Supervised Learning Method for Dense Prediction with Extremely Limited Labels

Changrui Chen, Jungong Han+1 more|arXiv (Cornell University)|Dec 2, 2023

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出虚拟类别（Virtual Category, VC）学习，一种用于密集预测任务的半监督方法，通过为难以标注的模糊未标记样本分配虚拟类别，而非丢弃或直接使用噪声伪标签。通过利用这些虚拟类别实现安全优化，该方法在极低监督设置下实现了最先进性能，尤其在仅使用极少标注数据的情况下，于语义分割和目标检测任务上超越了现有方法。

ABSTRACT

Due to the costliness of labelled data in real-world applications, semi-supervised learning, underpinned by pseudo labelling, is an appealing solution. However, handling confusing samples is nontrivial: discarding valuable confusing samples would compromise the model generalisation while using them for training would exacerbate the issue of confirmation bias caused by the resulting inevitable mislabelling. To solve this problem, this paper proposes to use confusing samples proactively without label correction. Specifically, a Virtual Category (VC) is assigned to each confusing sample in such a way that it can safely contribute to the model optimisation even without a concrete label. This provides an upper bound for inter-class information sharing capacity, which eventually leads to a better embedding space. Extensive experiments on two mainstream dense prediction tasks -- semantic segmentation and object detection, demonstrate that the proposed VC learning significantly surpasses the state-of-the-art, especially when only very few labels are available. Our intriguing findings highlight the usage of VC learning in dense vision tasks.

研究动机与目标

• 解决在语义分割和目标检测等密集预测任务中，使用极少量标注数据训练深度模型的挑战。
• 克服现有伪标签方法的局限性，这些方法要么丢弃模糊样本，要么因噪声标签导致确认偏误。
• 通过引入虚拟类别机制，实现对困难、模糊未标记样本的有效利用，而无需真实标签。
• 在低资源半监督学习场景中提升模型泛化能力与优化稳定性。

提出的方法

• 基于伪标签分布，为每个模糊未标记样本分配一个虚拟类别（VC），而非依赖于单一可能错误的标签。
• 为每个模糊样本构建一个潜在类别（PC）集合，表示其可能所属的所有合理类别。
• 引入一种改进的损失函数——Reg*损失，即使在无真实标签的情况下，也能促使模型沿安全的类别边界方向进行优化。
• 在需要消融实验时，通过梯度隔离将VC损失与主训练图解耦，从而实现对VC贡献的消融研究。
• 在检测网络的后期阶段（如RPN和区域分类器）选择性应用VC学习，以在保持性能的同时提升鲁棒性。
• 使用置信度阈值和时间稳定性验证，在分配VC前过滤掉不可靠的伪标签。

实验结果

研究问题

• RQ1 在无真实标签的情况下，能否有效利用模糊未标记样本进行半监督密集预测？
• RQ2 与丢弃或直接使用噪声伪标签相比，为模糊样本分配虚拟类别是否能提升模型泛化能力？
• RQ3 在极低监督设置下，尤其当基线模型性能较弱时，VC学习的表现如何？
• RQ4 VC学习能否在语义分割和目标检测任务中均有效应用？
• RQ5 VC学习的贡献是否仅源于损失组件的省略，而非其本身的有效性？

主要发现

• 在仅使用Pascal VOC数据集1/128标注数据的情况下，VC学习在语义分割任务上达到最先进性能，超越现有方法。
• 在1%标注的MS COCO数据集上，VC学习达到20.81 mAP，显著优于基线方法，以及那些丢弃或保留所有模糊样本的策略。
• 消融实验确认，VC学习带来最佳性能，而“丢弃”和“解耦”变体结果更差，证明VC的贡献并非仅源于损失组件的省略。
• 在RPN和区域分类器阶段均应用VC学习，使mAP从20.00提升至20.81，证明其在检测各阶段的有效性。
• 在miniImageNet上，VC学习达到51.49%的top-1准确率，在非密集分类设置下显著超越现有方法。
• 该方法在极少数标签下依然有效，随着标签比例增加，性能增益逐渐减小，符合理论预期。