[论文解读] OpenMatch: Open-set Consistency Regularization for Semi-supervised Learning with Outliers

Kuniaki Saito, Donghyun Kim+1 more|arXiv (Cornell University)|May 28, 2021

Domain Adaptation and Few-Shot Learning参考文献 45被引用 23

一句话总结

OpenMatch 提出了一种新颖的开放集半监督学习框架，结合了一对多（OVA）异常检测与软一致性正则化，以提升对未标记异常值的鲁棒性。通过训练一个 OVA 分类器来区分正常样本与异常样本，并应用一种新型的开放集软一致性损失，OpenMatch 在仅使用 300 个标记样本的情况下，将 CIFAR10 上的错误率降低至 10.4%，并优于完全监督模型在检测未见异常值方面的能力。

ABSTRACT

Semi-supervised learning (SSL) is an effective means to leverage unlabeled data to improve a model's performance. Typical SSL methods like FixMatch assume that labeled and unlabeled data share the same label space. However, in practice, unlabeled data can contain categories unseen in the labeled set, i.e., outliers, which can significantly harm the performance of SSL algorithms. To address this problem, we propose a novel Open-set Semi-Supervised Learning (OSSL) approach called OpenMatch. Learning representations of inliers while rejecting outliers is essential for the success of OSSL. To this end, OpenMatch unifies FixMatch with novelty detection based on one-vs-all (OVA) classifiers. The OVA-classifier outputs the confidence score of a sample being an inlier, providing a threshold to detect outliers. Another key contribution is an open-set soft-consistency regularization loss, which enhances the smoothness of the OVA-classifier with respect to input transformations and greatly improves outlier detection. OpenMatch achieves state-of-the-art performance on three datasets, and even outperforms a fully supervised model in detecting outliers unseen in unlabeled data on CIFAR10.

研究动机与目标

• 为解决标准半监督学习（SSL）方法的局限性，即假设标记数据与未标记数据具有相同的标签空间，当未标记数据中包含标签集中未见的新类别（异常值）时该假设会失效。
• 开发一种鲁棒的开放集半监督学习（OSSL）框架，能够在不依赖标记异常值的情况下，正确分类正常样本并检测与拒绝异常值。
• 通过一种新型的软一致性正则化损失，学习平滑且一致的表示，以提升 OSSL 中的异常值检测性能。
• 将 FixMatch 与基于 OVA 的新颖性检测的优势统一于单一端到端框架中，同时保持对正常样本的高分类准确率和卓越的异常值检测能力。

提出的方法

• 为每个已知类别引入一个一对多（OVA）分类器，当所有 OVA 分类器均拒绝某一样本时，将其分类为异常值，从而实现无监督的异常值检测。
• 提出一种开放集软一致性正则化（SOCR）损失，最小化同一输入在两种增强视图下异常检测器的 logits 之间的距离，以促进异常检测函数的平滑性。
• 仅对 OVA 检测器分类为正常样本的未标记样本应用 FixMatch 的一致性训练，确保伪标签仅应用于可靠样本。
• 使用 OVA 置信度分数的阈值来区分正常样本与异常值，避免依赖 Otsu 阈值等启发式方法。
• 采用多头架构，主头负责分类，OVA 头负责异常值检测，两者共享特征编码器，联合训练。
• 通过组合 FixMatch 的交叉熵损失、SOCR 损失以及 OVA 异常值检测的加权损失来优化模型，实现正常样本分类与异常值拒绝的联合学习。

实验结果

研究问题

• RQ1 当未标记数据的标签空间包含标签集中未见的新类别时，半监督学习框架能否有效检测并拒绝未标记数据中的异常值？
• RQ2 在异常值缺乏对应标记样本且无法被伪标记的开放集设置下，一致性正则化应如何适配？
• RQ3 将基于 OVA 的异常值检测与软一致性正则化相结合，是否能相比现有 OSSL 方法，同时提升正常样本分类准确率与异常值检测性能？
• RQ4 在仅使用有限标记数据且未标记数据包含异常值的情况下，模型能否在检测训练期间未见的异常类别方面超越完全监督模型？

主要发现

• 在仅使用每类 300 个标记样本的 CIFAR10 上，OpenMatch 实现了 10.4% 的错误率，显著优于相同设置下先前最先进方法的 20.3%。
• 在 ImageNet-30 上，仅使用 10% 的训练数据作为标记数据时，OpenMatch 实现了 87.1% 的平均准确率，超过 FixMatch（83.0%）和 MTC（74.2%）。
• 在检测训练期间未见的异常值时，OpenMatch 的 AUROC 比在所有正常样本上训练的完全监督模型高出 3.4%，表明其对新类别的泛化能力更优。
• 所提出的开放集软一致性正则化（SOCR）损失通过鼓励 OVA 分类器在数据增强下的输出保持平滑，显著提升了异常值检测性能。
• 该框架在有效拒绝异常值的同时，仍能保持对正常样本的高分类准确率，即使异常值在视觉上与正常样本相似，或未出现在未标记训练集中。
• 消融研究证实，OVA 异常值检测器与 SOCR 损失均为关键组件，二者均对整体性能提升有显著贡献。