[论文解读] Sample Efficiency of Data Augmentation Consistency Regularization

Shuo Yang, Yijun Dong+4 more|arXiv (Cornell University)|Feb 24, 2022

Sparse and Compressive Sensing Techniques被引用 4

一句话总结

本文通过理论分析证明，在线性模型和非线性模型中，数据增强一致性（DAC）正则化相较于数据增强经验风险最小化（DA-ERM）具有内在的样本效率优势。该研究表明，DAC通过强制实现更强的不变性并更好地容忍标签错误的增强，从而降低泛化误差，并在WideResNet模型上对CIFAR-100数据集进行了实证验证。

ABSTRACT

Data augmentation is popular in the training of large neural networks; currently, however, there is no clear theoretical comparison between different algorithmic choices on how to use augmented data. In this paper, we take a step in this direction - we first present a simple and novel analysis for linear regression with label invariant augmentations, demonstrating that data augmentation consistency (DAC) is intrinsically more efficient than empirical risk minimization on augmented data (DA-ERM). The analysis is then extended to misspecified augmentations (i.e., augmentations that change the labels), which again demonstrates the merit of DAC over DA-ERM. Further, we extend our analysis to non-linear models (e.g., neural networks) and present generalization bounds. Finally, we perform experiments that make a clean and apples-to-apples comparison (i.e., with no extra modeling or data tweaks) between DAC and DA-ERM using CIFAR-100 and WideResNet; these together demonstrate the superior efficacy of DAC.

研究动机与目标

• 对数据增强一致性（DAC）与数据增强经验风险最小化（DA-ERM）的样本效率进行理论比较，二者均常用于深度模型的训练。
• 探究即使在不使用未标记数据的情况下，DAC是否在算法层面具有内在优势。
• 将理论分析从线性模型扩展至非线性模型，包括两层神经网络和基于扩展增强的深度神经网络分类器。
• 为非线性设置下的一致性正则化提供泛化界，将理论与实际设计选择相联系。
• 在CIFAR-100数据集上，使用WideResNet对DAC与DA-ERM进行干净的、一对一的实证比较，不引入额外数据或模型修改。

提出的方法

• 提出一种针对标签不变增强的线性回归的新理论框架，用于比较DAC与DA-ERM，证明DAC可产生严格更小的泛化误差。
• 将分析扩展至错误指定的增强（即增强会改变标签）情形，证明DAC具有更优的鲁棒性及更小的近似误差。
• 推导出在非线性模型中DAC的泛化界，包括两层ReLU网络和基于扩展增强的深度神经网络分类器。
• 利用高斯宽度和利普希茨连续性来界定增强数据流形的复杂度，将模型复杂度与泛化性能相联系。
• 在实验中使用受控强度的RandAugment（n ∈ {1,2,5,10}）生成增强样本，确保增强策略的一致性。
• 对不同规模的有标签数据（1k, 10k, 20k）进行消融研究，并在CIFAR-100上使用WideResNet，以相同的训练协议比较DAC与DA-ERM。

实验结果

研究问题

• RQ1 在未使用未标记数据的情况下，数据增强一致性（DAC）是否在本质上比DA-ERM更具样本效率？
• RQ2 当增强被错误指定（即改变标签）时，DAC与DA-ERM在估计误差和近似误差方面有何差异？
• RQ3 能否为两层神经网络等非线性模型中的一致性正则化推导出理论泛化界？
• RQ4 超参数选择（如增强强度）如何影响DAC与DA-ERM之间的性能差距？
• RQ5 在干净、受控的实验设置下，DAC在实践中相对于DA-ERM的优越性有多大？

主要发现

• 在标签不变增强的线性回归中，DAC产生的泛化误差严格小于DA-ERM，证明其具有内在的样本效率优势。
• DAC更能容忍错误指定的增强，在近似误差方面优于对标签变化敏感的DA-ERM。
• 对两层ReLU网络中DAC的泛化界分析表明，一致性正则化可降低模型复杂度并提升泛化性能。
• 在CIFAR-100数据集上使用WideResNet的实证结果证实，DAC在所有有标签数据规模（1k, 10k, 20k）下均优于DA-ERM，且准确率提升稳定。
• 理论分析解释了为何在一致性正则化（如FixMatch）中可使用更强的增强，而在伪标签方法（如FixMatch）中则不可行，原因在于DAC对标签偏移具有更强的鲁棒性。
• 实验表明，DAC在极小量有标签数据下仍能保持优越性能，凸显其在低数据场景下的价值。