[论文解读] WeMix: How to Better Utilize Data Augmentation

Yi Xu, Asaf Noy+4 more|arXiv (Cornell University)|Oct 3, 2020

Privacy-Preserving Technologies in Data参考文献 66被引用 13

一句话总结

WeMix 提出了一种新颖的数据增强框架，通过两种理论基础扎实的方法——AugDrop 和 MixLoss——纠正增强数据中的分布偏差，从而在不增加额外训练成本的情况下提升模型的泛化能力。实证评估表明，该方法在视觉和自然语言处理基准上均表现出一致的性能提升，验证了在深度学习中通过偏差校正实现数据增强的有效性。

ABSTRACT

Data augmentation is a widely used training trick in deep learning to improve the network generalization ability. Despite many encouraging results, several recent studies did point out limitations of the conventional data augmentation scheme in certain scenarios, calling for a better theoretical understanding of data augmentation. In this work, we develop a comprehensive analysis that reveals pros and cons of data augmentation. The main limitation of data augmentation arises from the data bias, i.e. the augmented data distribution can be quite different from the original one. This data bias leads to a suboptimal performance of existing data augmentation methods. To this end, we develop two novel algorithms, termed "AugDrop" and "MixLoss", to correct the data bias in the data augmentation. Our theoretical analysis shows that both algorithms are guaranteed to improve the effect of data augmentation through the bias correction, which is further validated by our empirical studies. Finally, we propose a generic algorithm "WeMix" by combining AugDrop and MixLoss, whose effectiveness is observed from extensive empirical evaluations.

研究动机与目标

• 为解决传统数据增强在深度学习中的局限性，即原始数据与增强数据之间的分布偏差导致泛化性能下降。
• 为数据增强在何种条件下以及如何提升模型性能提供理论理解，特别是在非凸深度学习设置下。
• 设计新算法，即使在数据偏差较大的情况下也能有效利用增强数据，确保稳健的性能提升。
• 将 AugDrop 和 MixLoss 整合为一种通用且高效的算法——WeMix，以在多样化任务中提升模型泛化能力。

提出的方法

• AugDrop 通过构建一个约束优化问题来纠正数据偏差，调整训练过程以考虑原始数据与增强数据之间的分布偏移。
• MixLoss 修改损失函数，使模型预测与真实标签分布对齐，从而有效缓解由 mixup 等标签混合增强方法引入的偏差。
• 该框架将 AugDrop 和 MixLoss 整合到单一训练流程中，支持联合优化，在保持训练效率的同时提升泛化性能。
• 理论分析证明，即使在较大的分布偏移下，AugDrop 和 MixLoss 也能通过纠正数据偏差来降低泛化误差。
• WeMix 设计为即插即用的解决方案，兼容标准深度学习训练循环，无需架构修改或额外超参数。
• 实证验证采用图像分类和自然语言处理中的标准基准，证明在多个数据集和模型上均表现出一致的性能提升。

实验结果

研究问题

• RQ1 在什么条件下，数据增强能提升深度学习中的泛化性能，特别是当增强导致数据分布发生偏移时？
• RQ2 为何传统数据增强方法在原始数据与增强数据之间偏差较大时会失效或表现不佳？
• RQ3 我们能否设计出理论依据充分的算法，以纠正数据偏差，并在较大的分布偏移下仍能提升泛化性能？
• RQ4 如何将多种偏差校正机制整合为一个高效、通用且适用于实际部署的单一训练算法？

主要发现

• AugDrop 和 MixLoss 经理论证明可在数据偏差较大的情况下降低泛化误差，纠正数据偏差，从而在性能上优于标准数据增强方法。
• 将 AugDrop 和 MixLoss 整合为 WeMix 后，在多个视觉和自然语言处理基准（包括 CIFAR-10、ImageNet 和 GLUE）上均实现一致的性能提升。
• WeMix 在不增加训练成本的前提下实现了比标准数据增强更高的准确率，可作为现有模型的即插即用型改进方案。
• 实证结果表明，即使在强增强设置下，WeMix 仍优于基线方法，而传统方法通常在此类设置下性能下降。
• 理论分析确认，AugDrop 和 MixLoss 均能收敛至泛化误差有界的解，且收敛速率取决于数据偏差程度和模型平滑性。