[论文解读] The Curious Case of Adversarially Robust Models: More Data Can Help, Double Descend, or Hurt Generalization

Yifei Min, Lin Chen+1 more|arXiv (Cornell University)|Feb 25, 2020

Adversarial Robustness in Machine Learning参考文献 43被引用 30

一句话总结

本文表明，在对抗鲁棒模型中，增加训练数据量可能有害、有益，或导致泛化的双下降，具体取决于对手强度和损失函数。

ABSTRACT

Adversarial training has shown its ability in producing models that are robust to perturbations on the input data, but usually at the expense of decrease in the standard accuracy. To mitigate this issue, it is commonly believed that more training data will eventually help such adversarially robust models generalize better on the benign/unperturbed test data. In this paper, however, we challenge this conventional belief and show that more training data can hurt the generalization of adversarially robust models in the classification problems. We first investigate the Gaussian mixture classification with a linear loss and identify three regimes based on the strength of the adversary. In the weak adversary regime, more data improves the generalization of adversarially robust models. In the medium adversary regime, with more training data, the generalization loss exhibits a double descent curve, which implies the existence of an intermediate stage where more training data hurts the generalization. In the strong adversary regime, more data almost immediately causes the generalization error to increase. Then we move to the analysis of a two-dimensional classification problem with a 0-1 loss. We prove that more data always hurts the generalization performance of adversarially trained models with large perturbations. To complement our theoretical results, we conduct empirical studies on Gaussian mixture classification, support vector machines (SVMs), and linear regression.

研究动机与目标

• 动机并分析对抗性训练如何影响未扰动测试数据的泛化。
• 识别在更大量数据下，泛化表现是受益、受损，还是出现双下降的对手强度分为弱、中强、强三种情形。
• 描述不同损失函数（线性与0-1）以及模型设定（高斯混合、曼哈顿模型）之间的差异。
• 提供理论结果，并辅以跨多种模型（支持向量机、线性回归、高斯混合）的实证研究。

提出的方法

• 在无穷范数球内定义带对抗扰动的鲁棒分类器并分析泛化误差L_n。
• 研究带线性损失的高斯混合分类，以建立三种对手情形及相变（定理1）。
• 引入曼哈顿模型以分析0-1损失并证明弱/强情形行为（定理4）。
• 对高斯混合、0-1损失、支持向量机和线性回归进行实证实验，以观测数据量效应。
• 使用推论来说明特殊情况下的行为（例如均值和方差相等）。

实验结果

研究问题

• RQ1 在什么条件下，更大量的训练数据会提升对抗鲁棒模型的泛化？
• RQ2 对抗鲁棒性是否会随着数据量增加而导致双下降现象？
• RQ3 不同损失函数（线性与0-1）和问题设定如何影响对抗训练下的数据量泛化行为？
• RQ4 在高斯混合中的经验趋势是否也适用于SVM和线性回归？
• RQ5 对手强度的哪些阈值能够区分弱、中、强三种情形？

主要发现

• 存在三种对手情形：弱对手，在此更多数据总能提升泛化；中等对手，在此可能出现双下降模式；强对手，在此更多数据可能恶化泛化。
• 在带线性损失的高斯混合中，存在阈值δ1、δ2以及随着数据增多呈现单调提升、双下降或单调下降的情形（定理1）。
• 在曼哈顿模型的0-1损失下，鲁棒分类在小扰动时（ε<2μ）可达到零泛化误差，而对较大扰动随数据增加泛化误差增大（定理4）。
• 对高斯混合、SVM和线性回归的实证结果显示出与理论弱/强情形一致的趋势，包括在更强对手下随着数据增多测试损失增加的实例。
• 研究结果表明，对抗性训练并不总是有益于未扰动的泛化，当前框架可能需要新的思路来实现对偶鲁棒性与泛化。