[论文解读] ReMixMatch: Semi-Supervised Learning with Distribution Matching and Augmentation Anchoring

David Berthelot, Nicholas Carlini+5 more|arXiv (Cornell University)|Apr 30, 2020

Domain Adaptation and Few-Shot Learning参考文献 26被引用 338

一句话总结

ReMixMatch 通过引入分布对齐和增强锚定，改进了半监督学习，使未标记样本的预测与真实标签分布对齐，并促进强增强和弱增强之间的一致性。该方法在显著减少标注样本数量的情况下实现了最先进性能——在仅使用 250 个标注样本的情况下，CIFAR-10 上准确率达到 93.73%，优于使用 4,000 个标注样本的 MixMatch。

ABSTRACT

We improve the recently-proposed ``MixMatch semi-supervised learning algorithm by introducing two new techniques: distribution alignment and augmentation anchoring. - Distribution alignment encourages the marginal distribution of predictions on unlabeled data to be close to the marginal distribution of ground-truth labels. - Augmentation anchoring} feeds multiple strongly augmented versions of an input into the model and encourages each output to be close to the prediction for a weakly-augmented version of the same input. To produce strong augmentations, we propose a variant of AutoAugment which learns the augmentation policy while the model is being trained. Our new algorithm, dubbed ReMixMatch, is significantly more data-efficient than prior work, requiring between 5 times and 16 times less data to reach the same accuracy. For example, on CIFAR-10 with 250 labeled examples we reach 93.73% accuracy (compared to MixMatch's accuracy of 93.58% with 4000 examples) and a median accuracy of 84.92% with just four labels per class.

研究动机与目标

• 通过减少对大量标注数据的依赖，提升半监督学习中的数据效率。
• 通过将未标记数据预测的分布与真实标签分布对齐，缓解预测中的分布偏移问题。
• 通过强制同一输入的弱增强与强增强视图之间的一致性，提升模型鲁棒性。
• 开发一种训练时增强策略学习方法，以提升泛化能力。

提出的方法

• 分布对齐通过最小化模型在未标记数据上的预测边际分布与真实标签分布之间的差异来实现。
• 增强锚定为每个输入使用多个强增强，并促使每个强增强的预测结果与同一输入的弱增强版本预测结果保持一致。
• 训练一个与模型联合优化的 AutoAugment 变体，以在训练过程中学习最优增强策略。
• 使用标注数据的交叉熵损失和未标记数据的一致性正则化损失（包含弱增强和强增强）联合训练模型。
• 该方法利用熵最小化和分布对齐技术，稳定并提升未标记数据上的预测性能。

实验结果

研究问题

• RQ1 通过将模型预测与真实标签分布对齐，分布对齐能否提升半监督学习中的泛化能力？
• RQ2 强制弱增强与强增强之间的一致性，能否提升模型鲁棒性和准确率？
• RQ3 在半监督设置中，训练时增强策略搜索方法能否优于固定增强策略？
• RQ4 ReMixMatch 在保持或提升准确率的前提下，能在多大程度上减少对标注数据的需求？

主要发现

• ReMixMatch 在仅使用 250 个标注样本的情况下，CIFAR-10 上准确率达到 93.73%，超过使用 4,000 个标注样本的 MixMatch 的 93.58% 准确率。
• 当每类仅使用 4 个标注样本时，ReMixMatch 在 CIFAR-10 上达到 84.92% 的中位准确率，展现出极高的数据效率。
• 与先前最先进方法相比，该方法将标注数据需求减少了 5 至 16 倍，同时实现相当或更高的准确率。
• 分布对齐显著提升了预测一致性，并减少了未标记数据预测中的分布偏移。