[论文解读] Precise Statistical Analysis of Classification Accuracies for Adversarial Training

Adel Javanmard, Mahdi Soltanolkotabi|arXiv (Cornell University)|Oct 21, 2020

Advanced Statistical Methods and Models被引用 4

一句话总结

本文在各向异性协方差的高斯混合模型下，对通过极小化极大对抗训练训练的二元线性分类器的标准准确率和鲁棒准确率提供了精确的理论表征。该研究推导出在一般 ℓp-范数有界扰动下的准确率精确表达式，揭示了对抗强度、数据规模和模型过参数化程度之间非单调且反直觉的依赖关系。

ABSTRACT

Despite the wide empirical success of modern machine learning algorithms and models in a multitude of applications, they are known to be highly susceptible to seemingly small indiscernible perturbations to the input data known as \emph{adversarial attacks}. A variety of recent adversarial training procedures have been proposed to remedy this issue. Despite the success of such procedures at increasing accuracy on adversarially perturbed inputs or \emph{robust accuracy}, these techniques often reduce accuracy on natural unperturbed inputs or \emph{standard accuracy}. Complicating matters further, the effect and trend of adversarial training procedures on standard and robust accuracy is rather counter intuitive and radically dependent on a variety of factors including the perceived form of the perturbation during training, size/quality of data, model overparameterization, etc. In this paper we focus on binary classification problems where the data is generated according to the mixture of two Gaussians with general anisotropic covariance matrices and derive a precise characterization of the standard and robust accuracy for a class of minimax adversarially trained models. We consider a general norm-based adversarial model, where the adversary can add perturbations of bounded $\ell_p$ norm to each input data, for an arbitrary $p\ge 1$. Our comprehensive analysis allows us to theoretically explain several intriguing empirical phenomena and provide a precise understanding of the role of different problem parameters on standard and robust accuracies.

研究动机与目标

• 为了从理论上理解对抗训练模型中标准准确率与鲁棒准确率之间反直觉的权衡关系。
• 为了表征在一般 ℓp-范数对抗扰动下，二元线性分类中标准准确率与鲁棒准确率的精确行为。
• 为了解释诸如非单调准确率曲线和数据规模依赖的准确率性能反转等经验现象。
• 为了分析模型过参数化、训练数据规模和扰动范数（ℓp）对分类性能的影响。

提出的方法

• 将数据建模为具有通用各向异性协方差矩阵的两个高斯分布的混合。
• 分析任意 p ≥ 1 下的 ℓp-范数有界扰动的极小化极大对抗训练。
• 利用对偶性和加权 Moreau 包络技术，推导出标准准确率和鲁棒准确率的精确闭式表达式。
• 应用奇异值分解和优化对偶性，求解对抗扰动上的极小化极大问题。
• 使用带 ℓq-范数正则化的广义损失函数来建模对抗鲁棒性。
• 在温和的光滑性和凸性假设下，建立梯度下降收敛到最大间隔解的性质。

实验结果

研究问题

• RQ1 对抗训练的线性分类器的标准准确率如何随对抗者感知的扰动强度（ℓp 范数）变化？
• RQ2 训练数据规模（相对于模型参数）与最终标准准确率和鲁棒准确率之间的精确关系是什么？
• RQ3 为何在低数据环境下，对抗训练有时反而能提升标准准确率，与一般趋势相反？
• RQ4 不同 ℓp-范数扰动（如 ℓ₁、ℓ₂、ℓ∞）如何影响标准准确率与鲁棒准确率之间的权衡？
• RQ5 准确率曲线的非单调行为能否被理论解释并预测？

主要发现

• 标准准确率对对抗者扰动强度表现出非单调依赖关系：先下降，再上升，随后再次下降，具体形状取决于数据与参数比 δ。
• 鲁棒准确率最初随对抗强度增加而下降，但在超过一个依赖于 δ 的阈值后，会回升或趋于稳定。
• 在极低数据环境（δ 较小）下，对抗训练模型在标准准确率上甚至可能优于非对抗模型，从而反转了典型的鲁棒性-准确率权衡。
• 通过 ℓ∞-范数扰动的数值实验验证，理论预测的标准准确率与鲁棒准确率与实际结果高度吻合。
• 准确率的推导表达式是精确的，明确依赖于数据均值的 ℓp-范数和协方差矩阵的结构。
• 分析揭示了 ℓp-扰动类型、模型过参数化和数据规模之间的相互作用，导致根本不同的性能趋势。