[论文解读] ReMixMatch: Semi-Supervised Learning with Distribution Alignment and Augmentation Anchoring

David Berthelot, Nicholas Carlini+5 more|arXiv (Cornell University)|Nov 21, 2019

Domain Adaptation and Few-Shot Learning被引用 321

一句话总结

ReMixMatch 通过增加分布对齐和增强锚定来改进 MixMatch，在需要更少带标签数据的情况下实现最先进的 SSL 准确率，并使用 CTAugment 进行强增强。

ABSTRACT

We improve the recently-proposed "MixMatch" semi-supervised learning algorithm by introducing two new techniques: distribution alignment and augmentation anchoring. Distribution alignment encourages the marginal distribution of predictions on unlabeled data to be close to the marginal distribution of ground-truth labels. Augmentation anchoring feeds multiple strongly augmented versions of an input into the model and encourages each output to be close to the prediction for a weakly-augmented version of the same input. To produce strong augmentations, we propose a variant of AutoAugment which learns the augmentation policy while the model is being trained. Our new algorithm, dubbed ReMixMatch, is significantly more data-efficient than prior work, requiring between $5\ imes$ and $16\ imes$ less data to reach the same accuracy. For example, on CIFAR-10 with 250 labeled examples we reach $93.73\\%$ accuracy (compared to MixMatch's accuracy of $93.58\\%$ with $4{,}000$ examples) and a median accuracy of $84.92\\%$ with just four labels per class. We make our code and data open-source at https://github.com/google-research/remixmatch.

研究动机与目标

• 促进对 MixMatch 的改进，以提升半监督学习中的数据效率。
• 引入分布对齐，使未标记数据的预测分布与真实标签分布对齐。
• 提出增强锚定，通过弱增强锚定来稳定强增强。
• 开发 CTAugment，使其能够在线学习强增强策略，无需有标签代理。
• 在标准 SSL 基准上展示最先进的性能，并分析各组成部分的贡献。

提出的方法

• 通过维护未标记预测的滑动平均并使用 p(y)/p̃(y) 的比值对猜测进行再加权来整合分布对齐。
• 用增强锚定取代 MixMatch 的一致性正则化，使用弱增强锚来监督多个强增强视图。
• 引入 CTAugment，一种基于控制理论的在线增强策略学习器，避免有监督代理任务。
• 对每个未标记样本应用多次强增强（K），并对猜测的标签进行锐化/降温。
• 在带增强的带标签和未标签数据上使用 MixUp，另外还有一个 pre-mixup 未标签损失和基于旋转的自监督。
• 使用 Adam 进行训练，固定学习率和权重衰减，并对最终权重采用指数滑动平均。

实验结果

研究问题

• RQ1 通过将未标记预测与边际标签分布对齐，分布对齐是否能提升 SSL？
• RQ2 增强锚定是否能稳定强增强并在 MixMatch 之上提升性能？
• RQ3 基于在线 CTAugment 的增强策略在 SSL 中的影响是什么？
• RQ4 在标准基准中，带标签数据量变化时 ReMixMatch 的表现如何？
• RQ5 通过消融研究，各组成部分的贡献是什么？

主要发现

• ReMixMatch 在 CIFAR-10 和 SVHN 的不同带标签数据量下达到最先进的准确率。
• 在 CIFAR-10 上使用 250 个标签时，ReMixMatch 达到 93.73% 的准确率，达到 MixMatch 在 4,000 标签下的性能，但使用的数据远少于之。
• 在 STL-10 中，K=1 的 ReMixMatch 以及更高的 K 值相较于 MixMatch 显著降低了错误率。
• 消融显示分布对齐、pre-mixup 未标记损失以及更高的 K 对性能有积极影响；旋转损失在极低标签场景中有帮助。
• 在 CIFAR-10 和 SVHN 上，ReMixMatch 相对 MixMatch 展示出最多 16 倍的数据效率。
• 在少-shot 设置（例如 CIFAR-10 上每类 4 个标签）下，ReMixMatch 获得有竞争力的中位数准确率。