[论文解读] ReMixMatch: Semi-Supervised Learning with Distribution Alignment and Augmentation Anchoring

David Berthelot, Nicholas Carlini+5 more|arXiv (Cornell University)|Nov 21, 2019

Domain Adaptation and Few-Shot Learning参考文献 30被引用 164

一句话总结

ReMixMatch通过加入分布对齐和与CTAugment的增强锚定，在图像分类基准的SSL数据效率方面达到最新水平。

ABSTRACT

We improve the recently-proposed "MixMatch" semi-supervised learning algorithm by introducing two new techniques: distribution alignment and augmentation anchoring. Distribution alignment encourages the marginal distribution of predictions on unlabeled data to be close to the marginal distribution of ground-truth labels. Augmentation anchoring feeds multiple strongly augmented versions of an input into the model and encourages each output to be close to the prediction for a weakly-augmented version of the same input. To produce strong augmentations, we propose a variant of AutoAugment which learns the augmentation policy while the model is being trained. Our new algorithm, dubbed ReMixMatch, is significantly more data-efficient than prior work, requiring between $5 imes$ and $16 imes$ less data to reach the same accuracy. For example, on CIFAR-10 with 250 labeled examples we reach $93.73\%$ accuracy (compared to MixMatch's accuracy of $93.58\%$ with $4{,}000$ examples) and a median accuracy of $84.92\%$ with just four labels per class. We make our code and data open-source at https://github.com/google-research/remixmatch.

研究动机与目标

• 在标注数据稀缺时推动半监督学习(SSL)的数据效率改进。
• 将分布对齐整合到 MixMatch 中，使未标记预测与真实标签分布对齐。
• 引入增强锚定和 CTAugment，以在不需要有监督策略搜索的情况下提升一致性正则化。

提出的方法

• 将分布对齐并入 MixMatch，通过使用未标记预测的滑动平均值来补偿预测标签分布。
• 引入增强锚定：用一个弱增强的图像来引导对多个强增强版本的预测。
• 开发基于控制理论的 CTAugment，用于在线学习高强度增强幅度，且无需有监督策略搜索。
• 对每个未标记样本使用K个强增强（K=8），并对有标签及无标签对进行 MixUp。
• 通过对未标记数据预测图像旋转来增加旋转损失，作为一个辅助的自监督任务。
• 使用带有有标签数据的交叉熵以及无标签数据的均方误差（或交叉熵）、再加上旋转损失和预混合损失，对 ReMixMatch 损失进行优化。

实验结果

研究问题

• RQ1 分布对齐是否能通过使未标记的预测分布与真实标签分布相匹配来提升 SSL 的效果？
• RQ2 带有 CTAugment 的增强锚定是否能在 SSL 中实现对强增强的稳定且可扩展的使用？
• RQ3 与 MixMatch 与其他 SSL 方法相比，ReMixMatch 在标准基准上的数据高效性表现如何？
• RQ4 每个组件（分布对齐、增强锚定、CTAugment、旋转损失）对总体性能的影响如何？

主要发现

方法	CIFAR-10（250 标签）	CIFAR-10（1000 标签）	CIFAR-10（4000 标签）	SVHN（250 标签）	SVHN（1000 标签）	SVHN（4000 标签）
VAT	36.03 ± 2.82	18.64 ± 0.40	11.05 ± 0.31	8.41 ± 1.01	5.98 ± 0.21	4.20 ± 0.15
Mean Teacher	47.32 ± 4.71	17.32 ± 4.00	10.36 ± 0.25	6.45 ± 2.43	3.75 ± 0.10	3.39 ± 0.11
MixMatch	11.08 ± 0.87	7.75 ± 0.32	6.24 ± 0.06	3.78 ± 0.26	3.27 ± 0.31	2.89 ± 0.06
ReMixMatch	6.27 ± 0.34	5.73 ± 0.16	5.14 ± 0.04	3.10 ± 0.50	2.83 ± 0.30	2.42 ± 0.09
UDA, reported*	8.76 ± 0.90	5.87 ± 0.13	5.29 ± 0.25	2.76 ± 0.17	2.55 ± 0.09	2.47 ± 0.15

• ReMixMatch在有标签数据规模的情况下实现了最先进的准确率，特别是在CIFAR-10 仅有 250 标签时达到 93.73%。
• 在CIFAR-10上，ReMixMatch 达到 6.27% 错误率（250 标签）、5.73%（1000 标签）和 5.14%（4000 标签），超越 MixMatch 和 VAT/Mean Teacher。
• 在 SVHN 上，ReMixMatch 达到 3.10%（250 标签）、2.83%（1000 标签）和 2.42%（4000 标签）。
• 在 CIFAR-10 的数据效率方面，ReMixMatch 比 MixMatch 高出最多 16 倍（例如，用只有 250 标签即可达到 4k 标签的性能）。
• 消融实验显示移除分布对齐或未标记数据的预混合损失会降低准确性；增大 K 会提升性能；在极低标注情境下旋转损失更加关键。