[论文解读] On Data Augmentation and Adversarial Risk: An Empirical Analysis

Hamid Eghbal-zadeh, Khaled Koutini+6 more|arXiv (Cornell University)|Jul 6, 2020

Adversarial Robustness in Machine Learning参考文献 28被引用 7

一句话总结

本文研究了数据增强对深度学习中对抗鲁棒性的影响，提出了一项新度量——预测变化应力（prediction-change stress），用于评估模型的脆弱性。研究发现，数据增强带来的分类准确率提升并不能保证对抗风险降低；且增强数据对模型行为的影响显著高于原始数据，因此必须根据数据和任务特性谨慎选择。

ABSTRACT

Data augmentation techniques have become standard practice in deep learning, as it has been shown to greatly improve the generalisation abilities of models. These techniques rely on different ideas such as invariance-preserving transformations (e.g, expert-defined augmentation), statistical heuristics (e.g, Mixup), and learning the data distribution (e.g, GANs). However, in the adversarial settings it remains unclear under what conditions such data augmentation methods reduce or even worsen the misclassification risk. In this paper, we therefore analyse the effect of different data augmentation techniques on the adversarial risk by three measures: (a) the well-known risk under adversarial attacks, (b) a new measure of prediction-change stress based on the Laplacian operator, and (c) the influence of training examples on prediction. The results of our empirical analysis disprove the hypothesis that an improvement in the classification performance induced by a data augmentation is always accompanied by an improvement in the risk under adversarial attack. Further, our results reveal that the augmented data has more influence than the non-augmented data, on the resulting models. Taken together, our results suggest that general-purpose data augmentations that do not take into the account the characteristics of the data and the task, must be applied with care.

研究动机与目标

• 探究数据增强带来的分类性能提升是否与对抗风险降低相关。
• 提出一种新的定量度量——预测变化应力，用于评估模型在对抗扰动下的鲁棒性。
• 利用影响函数分析增强数据与原始训练数据对模型行为的相对影响。
• 评估标准数据增强技术在泛化能力与对抗鲁棒性之间的权衡。
• 指导实践者根据数据和任务特性选择能最小化对抗风险的数据增强策略。

提出的方法

• 提出预测变化应力作为基于拉普拉斯算子的新度量，用于估计测试输入周围局部预测不稳定的程度。
• 采用影响函数量化单个训练样本（包括原始样本与增强样本）对模型损失和预测的贡献。
• 在CIFAR-10上应用三类数据增强方法：经典几何变换、Mixup以及基于GAN的增强。
• 通过系统性对抗攻击（FGSM、PGD）评估不同增强策略下的鲁棒性。
• 使用统计分析比较增强与非增强训练样本的影响得分分布。
• 通过消融研究验证结论，涵盖不同攻击强度与增强强度的组合。

实验结果

研究问题

• RQ1 由于数据增强导致分类误差降低，是否总是意味着对抗风险降低？
• RQ2 预测变化应力在不同增强方法下与对抗鲁棒性的相关性如何？
• RQ3 增强训练样本对最终模型的影响程度有多大，相较于原始训练样本？
• RQ4 哪些数据增强策略在对抗攻击下能产生最鲁棒的模型？
• RQ5 预测变化应力能否作为模型评估中对抗风险的可靠代理指标？

主要发现

• Mixup提升了分类准确率，但所有测试方法中对抗风险最高，与‘准确率越高鲁棒性越强’的假设相矛盾。
• 基于GAN的增强实现了最低的对抗风险，表明生成式数据增强即使在准确率增益较低的情况下，也能提升鲁棒性。
• 专家设计的几何增强方法实现了最低的分类误差，并且在对抗鲁棒性方面表现优异，表明强归纳偏置能同时提升准确率与鲁棒性。
• 预测变化应力与对抗风险强相关：高应力模型对对抗攻击表现出更高的脆弱性。
• 增强训练样本的影响得分范围始终宽于非增强样本，表明其对模型训练具有显著更高的影响力。
• 由于增强样本具有随机性和多样性，且在训练中仅被看到一次，其对模型行为的影响超过了原始数据。