[论文解读] OpenCoS: Contrastive Semi-supervised Learning for Handling Open-set Unlabeled Data

Jongjin Park, Sukmin Yun+2 more|arXiv (Cornell University)|Jun 29, 2021

Domain Adaptation and Few-Shot Learning参考文献 36被引用 7

一句话总结

OpenCoS 提出了一种对比自监督半监督学习框架，通过利用自监督对比表示来检测属于类内和类外的样本，有效处理开放集未标记数据——即未标记数据中包含未出现在标记集中的类外样本。该方法为置信度高的类内样本分配 one-hot 置伪标签，通过辅助批量归一化为类外样本分配软标签，在类别分布不匹配的情况下显著提升了最先进半监督学习方法的性能，在仅使用 40 个标签且以 Tiny-ImageNet 作为类外数据时，CIFAR-10 上达到 69.38% 的准确率。

ABSTRACT

Semi-supervised learning (SSL) has been a powerful strategy to incorporate few labels in learning better representations. In this paper, we focus on a practical scenario that one aims to apply SSL when unlabeled data may contain out-of-class samples - those that cannot have one-hot encoded labels from a closed-set of classes in label data, i.e., the unlabeled data is an open-set. Specifically, we introduce OpenCoS, a simple framework for handling this realistic semi-supervised learning scenario based upon a recent framework of self-supervised visual representation learning. We first observe that the out-of-class samples in the open-set unlabeled dataset can be identified effectively via self-supervised contrastive learning. Then, OpenCoS utilizes this information to overcome the failure modes in the existing state-of-the-art semi-supervised methods, by utilizing one-hot pseudo-labels and soft-labels for the identified in- and out-of-class unlabeled data, respectively. Our extensive experimental results show the effectiveness of OpenCoS under the presence of out-of-class samples, fixing up the state-of-the-art semi-supervised methods to be suitable for diverse scenarios involving open-set unlabeled data.

研究动机与目标

• 解决半监督学习（SSL）在未标记数据中包含未出现在标记集中的类外样本时的实际局限性。
• 克服现有 SSL 方法在将类外样本错误标记时因熵最小化和一致性正则化而失效的问题。
• 提出一种可泛化的框架，利用无监督表示来检测并适当地标记类内和类外的未标记样本。
• 在存在类别分布不匹配的真实半监督学习场景中，尤其在低标签设置下，提升模型的泛化能力和性能。

提出的方法

• 使用基于 SimCLR 的自监督对比学习，在标记和未标记数据上预训练表示，以实现对类外样本的有效检测。
• 基于对比表示相似性设计检测准则，以区分类内与类外的未标记样本。
• 为最自信的前 k 个类内未标记样本分配 one-hot 置伪标签，并整合进标记数据集。
• 利用模型后验预测分布导出的软标签处理类外样本，提升对分布偏移的鲁棒性。
• 引入辅助批量归一化层以解耦归一化统计量，减轻类外样本对特征统计量的负面影响。
• 将框架与 ReMixMatch 和 FixMatch 等现有 SSL 方法集成，实现在开放集条件下的即插即用式性能增强。

实验结果

研究问题

• RQ1 在类别分布不匹配条件下，自监督对比表示学习能否有效检测未标记数据中的类外样本？
• RQ2 类外样本如何被有意义地利用于半监督学习，而非被丢弃或错误标记？
• RQ3 基于对比表示的类外样本软标签化是否相比标准置伪标签能提升泛化能力和准确率？
• RQ4 OpenCoS 在真实开放集未标记数据设置下，对最先进 SSL 方法的性能提升程度如何？
• RQ5 所提出的框架是否可泛化至不同主干网络架构和预训练方案，例如使用 DINO 预训练的 ViT？

主要发现

• 在使用 40 个标记样本且以 Tiny-ImageNet 作为类外数据的 CIFAR-10 上，OpenCoS 将 ReMixMatch-ft 的测试准确率从 22.53% 提升至 58.02%。
• 在同一基准测试中，OpenCoS 仅用 40 个标签（每类 4 个）即达到 69.38% 的准确率，优于最先进基线 OpenMatch 的 62.71%。
• 消融实验表明，每个组件——检测、辅助损失、辅助 BN 层和 top-k 置伪标签——均对性能有增量贡献，完整 OpenCoS 模型达到 58.02% 的准确率。
• 当与 DINO 预训练的 ViT 结合时，OpenCoS 将 FixMatch-ft 在 Food 超类上的准确率从 66.95% 提升至 72.00%，证明其与视觉变换器的兼容性。
• 软标签方案成功捕捉了类外样本与类内样本之间的语义相似性（例如，与狗相似的动物），对这类样本分配更高置信度，而对无关样本则保持接近均匀分布。
• 辅助批量归一化层的使用显著提升了鲁棒性，有效减轻了类外样本对批量统计量的负面影响。