[论文解读] Unsupervised Data Augmentation for Consistency Training

Qizhe Xie, Zihang Dai+3 more|arXiv (Cornell University)|Apr 29, 2019

Domain Adaptation and Few-Shot Learning参考文献 74被引用 1,618

一句话总结

UDA 表明将最先进的有监督数据增强作为一致性训练中的噪声，可以显著提升语言和视觉任务的半监督学习。它在极少的标注样本下也能取得强劲结果，并且能够与迁移学习和大规模数据集一起扩展。

ABSTRACT

Semi-supervised learning lately has shown much promise in improving deep learning models when labeled data is scarce. Common among recent approaches is the use of consistency training on a large amount of unlabeled data to constrain model predictions to be invariant to input noise. In this work, we present a new perspective on how to effectively noise unlabeled examples and argue that the quality of noising, specifically those produced by advanced data augmentation methods, plays a crucial role in semi-supervised learning. By substituting simple noising operations with advanced data augmentation methods such as RandAugment and back-translation, our method brings substantial improvements across six language and three vision tasks under the same consistency training framework. On the IMDb text classification dataset, with only 20 labeled examples, our method achieves an error rate of 4.20, outperforming the state-of-the-art model trained on 25,000 labeled examples. On a standard semi-supervised learning benchmark, CIFAR-10, our method outperforms all previous approaches and achieves an error rate of 5.43 with only 250 examples. Our method also combines well with transfer learning, e.g., when finetuning from BERT, and yields improvements in high-data regime, such as ImageNet, whether when there is only 10% labeled data or when a full labeled set with 1.3M extra unlabeled examples is used. Code is available at https://github.com/google-research/uda.

研究动机与目标

• 证明高质量的数据增强能够作为一致性训练在 SSL 中的有效噪声。
• 展示在多语言和视觉任务中，使用增广后的未标注数据可提升 SSL 性能。
• 分析增强质量如何影响样本效率和标注需求。
• 展示 UDA 与如 BERT 的迁移学习情境的兼容性。
• 提供关于为何基于增强的一致性能提升学习的理论见解。

提出的方法

• 制定一个半监督目标，将带标签数据的监督交叉熵与对未标注数据在 q( x̂ | x ) 增强后的一致性损失相结合。
• 用强数据增强替代简单噪声，诸如 RandAugment（用于图像）和文本的回译作为噪声来源。
• 使用固定参数副本计算目标分布以稳定一致性损失。
• 应用基于置信度的掩码和预测锐化以提升未标注数据的利用率。
• 纳入领域相关的数据筛选，选择对训练有帮助的跨领域未标注数据。
• 可选地将 UDA 与如 BERT 微调的迁移学习方法结合。

实验结果

研究问题

• RQ1 将传统噪声替换为最先进的数据增强是否会提升 SSL 性能？
• RQ2 增强质量如何影响一致性训练的有效性和样本效率？
• RQ3 UDA 能否扩展到大规模数据集并在 NLP 和 CV 中从迁移学习中获益？
• RQ4 哪些训练技术（掩码、锐化、领域筛选）可进一步提升 UDA 的性能？
• RQ5 在标准基准上，UDA 相对于领先的 SSL 方法的表现如何？

主要发现

• UDA 在 CIFAR-10 和 SVHN 上在不同标注数据量下持续超越 VAT 和 MixMatch。
• 在视觉任务中使用 RandAugment 的 UDA 达到或超过在更大标注集上训练的完全监督基线。
• 在文本任务中，UDA 取得显著收益，并能与 BERT 的预训练和微调有效结合。
• UDA 可扩展到 ImageNet，在 10% 标注数据和全数据加外部未标注数据的情形下提升 top-1 准确率。
• 数据增强质量与 SSL 增益相关，验证了更好的噪声会带来更好的一致性训练的假设。
• 理论分析将所需标注样本更少与增强图中的更好增强连通性联系起来。