[论文解读] Understanding Generalization in Adversarial Training via the Bias-Variance Decomposition

Yaodong Yu, Zitong Yang+3 more|arXiv (Cornell University)|Mar 17, 2021

Adversarial Robustness in Machine Learning参考文献 86被引用 11

一句话总结

本文通过偏差-方差分解研究对抗训练模型中的泛化差距，揭示了随着对抗扰动半径ε的增加，偏差单调上升，而方差在鲁棒插值阈值附近达到峰值。与预期相反的单峰方差行为，为评估对抗鲁棒性理论解释提供了关键诊断工具。

ABSTRACT

Adversarially trained models exhibit a large generalization gap: they can interpolate the training set even for large perturbation radii, but at the cost of large test error on clean samples. To investigate this gap, we decompose the test risk into its bias and variance components and study their behavior as a function of adversarial training perturbation radii ($\varepsilon$). We find that the bias increases monotonically with $\varepsilon$ and is the dominant term in the risk. Meanwhile, the variance is unimodal as a function of $\varepsilon$, peaking near the interpolation threshold for the training set. This characteristic behavior occurs robustly across different datasets and also for other robust training procedures such as randomized smoothing. It thus provides a test for proposed explanations of the generalization gap. We find that some existing explanations fail this test--for instance, by predicting a monotonically increasing variance curve. This underscores the power of bias-variance decompositions in modern settings-by providing two measurements instead of one, they can rule out more explanations than test accuracy alone. We also show that bias and variance can provide useful guidance for scalably reducing the generalization gap, highlighting pre-training and unlabeled data as promising routes.

研究动机与目标

• 为了理解对抗训练模型中存在巨大泛化差距的根源，即模型在对抗训练中实现近乎零的鲁棒训练误差，但在干净数据上的测试误差却很高。
• 分析在对抗训练中，偏差和方差如何随对抗扰动半径ε的变化而演变。
• 评估现有泛化差距理论解释是否与观察到的偏差-方差动态行为一致。
• 识别观察到的偏差-方差模式成立或失效的条件，以指导模型设计和泛化性能的改进。

提出的方法

• 通过交叉熵损失和模型权重的期望对数概率平均，经验性地将测试风险分解为偏差和方差分量。
• 将偏差定义为真实类别概率与平均预测概率之间期望差异，将方差定义为期望对数概率的负对数归一化。
• 将该分解方法应用于使用ℓ∞-对抗训练和随机平滑在多个数据集（如CIFAR-10）上训练的模型。
• 通过改变模型类型、数据维度和噪声注入策略（如固定噪声与自适应噪声）来测试观察到的模式的鲁棒性。
• 将偏差-方差行为用作诊断标准，以验证或排除对抗训练的简化概念模型。
• 分析逻辑回归和高维模型，以隔离非线性、数据维度和自适应噪声在塑造偏差与方差中的作用。

实验结果

研究问题

• RQ1 对抗训练模型中的偏差如何随扰动半径ε变化？
• RQ2 对抗训练模型中的方差如何随ε变化，是否表现出单峰模式？
• RQ3 方差峰值是否始终出现在鲁棒插值阈值附近，即模型不再对训练集进行鲁棒插值的最小ε值？
• RQ4 观察到的偏差-方差模式是否在不同数据集、模型架构和鲁棒训练方法（如随机平滑）下保持稳健？
• RQ5 偏差-方差分解能否作为诊断工具，以评估对抗泛化差距理论解释的有效性？

主要发现

• 偏差随扰动半径ε单调增加，并在所有研究的数据集和模型中主导测试风险。
• 方差在ε上呈单峰分布，在鲁棒插值阈值附近达到峰值——即模型不再对训练数据进行鲁棒插值的最小ε值。
• 单峰方差模式在多个数据集和鲁棒训练方法（包括每小批量独立高斯噪声的随机平滑）下均保持稳健。
• 当噪声在训练周期间固定不变时，该模式失效，表明攻击的动态特性是观察到行为的关键。
• 在低维模型中，偏差-方差模式不成立，表明高维数据几何结构对这一现象至关重要。
• 观察到的行为否定了部分现有解释（如预测方差单调增加的理论），证明了偏差-方差分解作为诊断工具的强大能力。