[论文解读] Recent Deep Semi-supervised Learning Approaches and Related Works

Gyeongho Kim|arXiv (Cornell University)|Jun 22, 2021

Domain Adaptation and Few-Shot Learning参考文献 41被引用 5

一句话总结

本文全面综述了近期深度半监督学习方法，重点聚焦于通过熵正则化、一致性正则化和自训练技术利用未标记数据的方法。文章突出展示了 MixMatch、ReMixMatch 和 FixMatch 等整体性框架，这些框架整合了多种原则，在低标签数据设置下实现了最先进性能，甚至超越了完全监督模型。

ABSTRACT

This work proposes an overview of the recent semi-supervised learning approaches and related works. Despite the remarkable success of neural networks in various applications, there exist a few formidable constraints, including the need for a large amount of labeled data. Therefore, semi-supervised learning, which is a learning scheme in which scarce labels and a larger amount of unlabeled data are utilized to train models (e.g., deep neural networks), is getting more important. Based on the key assumptions of semi-supervised learning, which are the manifold assumption, cluster assumption, and continuity assumption, the work reviews the recent semi-supervised learning approaches. In particular, the methods in regard to using deep neural networks in a semi-supervised learning setting are primarily discussed. In addition, the existing works are first classified based on the underlying idea and explained, then the holistic approaches that unify the aforementioned ideas are detailed.

研究动机与目标

• 提供对近期深度半监督学习方法及其基本原理的系统性概述。
• 基于其核心思想（如熵最小化、一致性正则化和自训练）对现有方法进行分类，同时识别统一趋势。
• 分析将多种半监督技术整合为单一高效训练范式的整体性框架。
• 评估这些方法的性能与鲁棒性，特别是在低标签设置下以及存在分布外数据时的表现。
• 强调自监督学习在半监督设置中增强表征学习方面的互补作用。

提出的方法

• 本文根据基础假设对半监督学习方法进行分类：流形假设、连续性假设和聚类假设，这些假设支撑了大多数现代方法。
• 详细阐述熵正则化，即通过优化未标记数据上的模型预测以最小化熵，促进模型输出的置信度与一致性。
• 解释伪标签方法，即在训练过程中将未标记数据上预测概率最高的类别作为虚拟标签使用。
• 讨论一致性正则化，即强制模型对同一输入的不同增强版本输出保持一致。
• 分析整体性框架如 MixMatch、ReMixMatch 和 FixMatch，这些框架整合了数据增强、MixUp、温度缩放和分布对齐技术。
• 强调在预训练和蒸馏阶段使用自监督掩蔽任务以改善特征表示，从而在微调阶段获得更好的性能。

实验结果

研究问题

• RQ1 流形、连续性和聚类假设在多大程度上指导了现代深度半监督学习方法的设计？
• RQ2 在标注数据稀缺时，熵最小化和伪标签方法能在多大程度上提升模型泛化能力？
• RQ3 像 ReMixMatch 和 FixMatch 这类统一框架如何通过整合多种正则化策略，超越单一技术的性能？
• RQ4 自监督预训练在提升半监督学习模型性能方面发挥什么作用？
• RQ5 半监督模型对未标记数据中的分布偏移有多敏感？这对实际部署有何影响？

主要发现

• 整体性方法如 ReMixMatch 和 FixMatch 在 CIFAR-10 等基准数据集上实现了最先进性能，当标注数据有限时，甚至超越了完全监督模型。
• ReMixMatch 中引入的分布对齐与增强锚定技术显著提升了预测的一致性与泛化能力，通过对齐标注与未标注数据的分布。
• FixMatch 通过使用高置信度阈值选择伪标签，并强制同一输入的弱增强与强增强视图之间保持输出一致性，从而实现优异性能。
• 在半监督设置中，先进行自监督预训练，再通过自蒸馏过程，可获得更丰富的特征表示，尤其当结合一致性正则化与熵正则化时效果更显著。
• 尽管性能优异，当未标记数据为分布外数据时，半监督学习方法性能会显著下降，凸显了标注与未标记数据共享同一分布这一关键假设的重要性。
• 将自监督学习与半监督技术结合可实现更优性能，表明两种范式具有互补性与协同效应。