[论文解读] On The Consistency Training for Open-Set Semi-Supervised Learning.

Huixiang Luo, Hao Cheng+7 more|arXiv (Cornell University)|Jan 19, 2021

Domain Adaptation and Few-Shot Learning参考文献 91被引用 10

一句话总结

本文提出了一种新颖的一致性训练方法，用于开放集半监督学习，该方法利用分布外（OOD）样本，而非将其过滤掉。通过弥合有标签数据与无标签数据之间的类别分布差距，该方法提升了模型的泛化能力，并在存在 OOD 样本的真实数据分布偏移条件下实现了最先进（SOTA）的性能表现。

ABSTRACT

Conventional semi-supervised learning (SSL) methods, e.g., MixMatch, achieve great performance when both labeled and unlabeled dataset are drawn from the same distribution. However, these methods often suffer severe performance degradation in a more realistic setting, where unlabeled dataset contains out-of-distribution (OOD) samples. Recent approaches mitigate the negative influence of OOD samples by filtering them out from the unlabeled data. Our studies show that it is not necessary to get rid of OOD samples during training. On the contrary, the network can benefit from them if OOD samples are properly utilized. We thoroughly study how OOD samples affect DNN training in both low- and high-dimensional spaces, where two fundamental SSL methods are considered: Pseudo Labeling (PL) and Data Augmentation based Consistency Training (DACT). Conclusion is twofold: (1) unlike PL that suffers performance degradation, DACT brings improvement to model performance; (2) the improvement is closely related to class-wise distribution gap between the labeled and the unlabeled dataset. Motivated by this observation, we further improve the model performance by bridging the gap between the labeled and the unlabeled datasets (containing OOD samples). Compared to previous algorithms paying much attention to distinguishing between ID and OOD samples, our method makes better use of OOD samples and achieves state-of-the-art results.

研究动机与目标

• 解决当无标签数据中包含分布外（OOD）样本时，传统半监督学习（SSL）方法性能下降的问题。
• 研究 OOD 样本在低维和高维空间中对深度神经网络训练的影响。
• 开发一种方法，将 OOD 样本建设性地利用起来，而非将其过滤掉，从而在数据分布偏移条件下提升模型的泛化能力。
• 将有标签数据与无标签数据之间的类别分布差距最小化，作为性能提升的关键机制。
• 通过更有效地利用 OOD 样本，在开放集半监督学习中实现最先进（SOTA）的性能表现。

提出的方法

• 该方法采用数据增强的一致性训练（DACT），以在扰动下增强模型的不变性，同时利用分布内和 OOD 样本。
• 引入一种分布差距正则化，以对齐有标签和无标签数据的类别特征分布。
• 该方法避免了显式的 OOD 检测或过滤，转而专注于分布对齐以提升鲁棒性。
• 训练目标结合了标准的一致性损失与类别级分布对齐损失，以在混合数据上稳定学习过程。
• 该方法在数据分布偏移设置下的标准基准上进行了评估，展示了更好的泛化能力。
• 该方法设计为与现有 SSL 框架兼容，尤其适用于基于伪标签和数据增强的方法。

实验结果

研究问题

• RQ1 在半监督学习中，分布外（OOD）样本在低维和高维空间中如何影响深度神经网络的训练？
• RQ2 为何当存在 OOD 样本时，一致性训练（DACT）能提升性能，而伪标签法（PL）会显著下降？
• RQ3 在数据分布偏移条件下，有标签与无标签数据之间的类别分布差距在模型泛化中起到什么作用？
• RQ4 如果合理整合，OOD 样本是否可以带来益处？
• RQ5 如何通过对齐有标签与无标签数据的类别分布来提升模型性能？

主要发现

• 当存在 OOD 样本时，一致性训练（DACT）能提升模型性能，而伪标签法（PL）则出现显著性能下降。
• DACT 的性能提升与有标签和无标签数据之间的类别分布差距密切相关。
• 通过分布对齐减少类别分布差距，可实现更好的泛化能力并达到最先进（SOTA）性能。
• 与依赖 OOD 检测或过滤的现有方法相比，所提方法在开放集设置下表现更优。
• 通过建设性地利用 OOD 样本而非将其排除，模型在数据分布偏移下表现出更优越的鲁棒性。