[论文解读] Precise Tradeoffs in Adversarial Training for Linear Regression

Adel Javanmard, Mahdi Soltanolkotabi+1 more|arXiv (Cornell University)|Feb 24, 2020

Adversarial Robustness in Machine Learning参考文献 16被引用 12

一句话总结

本文通过高维渐近分析，对对抗训练下线性回归中标准风险与鲁棒风险之间的权衡提供了精确的理论表征。它推导出可实现风险的精确表达式，并揭示了数据规模、模型过参数化程度以及对抗扰动水平如何影响这一权衡，揭示了在高斯特征设定下的根本限制与算法性能。

ABSTRACT

Despite breakthrough performance, modern learning models are known to be highly vulnerable to small adversarial perturbations in their inputs. While a wide variety of recent \emph{adversarial training} methods have been effective at improving robustness to perturbed inputs (robust accuracy), often this benefit is accompanied by a decrease in accuracy on benign inputs (standard accuracy), leading to a tradeoff between often competing objectives. Complicating matters further, recent empirical evidence suggest that a variety of other factors (size and quality of training data, model size, etc.) affect this tradeoff in somewhat surprising ways. In this paper we provide a precise and comprehensive understanding of the role of adversarial training in the context of linear regression with Gaussian features. In particular, we characterize the fundamental tradeoff between the accuracies achievable by any algorithm regardless of computational power or size of the training data. Furthermore, we precisely characterize the standard/robust accuracy and the corresponding tradeoff achieved by a contemporary mini-max adversarial training approach in a high-dimensional regime where the number of data points and the parameters of the model grow in proportion to each other. Our theory for adversarial training algorithms also facilitates the rigorous study of how a variety of factors (size and quality of training data, model overparametrization etc.) affect the tradeoff between these two competing accuracies.

研究动机与目标

• 理解对抗训练下线性回归中标准风险与鲁棒风险之间的根本权衡。
• 表征任何算法的性能极限，无论其计算能力或训练数据规模如何。
• 分析对抗训练算法在 n/p → δ 的高维情形下如何实现这一权衡。
• 研究数据规模、数据质量以及模型过参数化对标准-鲁棒准确率权衡的影响。

提出的方法

• 采用高维渐近框架，其中 n 与 p 按比例增长，且满足 n/p → δ ∈ (0, ∞)。
• 应用凸高斯极小极大定理，推导出标准风险与对抗风险的精确表达式。
• 推导出可实现的（标准风险，对抗风险）对的帕累托最优前沿的渐近表达式。
• 引入一种极小极大对抗训练公式，并利用先进的高斯过程不等式分析其性能。
• 通过求解涉及参数 α, ε, τ*, μ, 和 ω 的固定点方程组，表征平衡行为。
• 建立标准岭回归中的正则化参数 λ 与对抗训练中扰动水平 ε 之间的映射关系。

实验结果

研究问题

• RQ1 在不考虑算法或数据约束的情况下，线性回归中标准风险与对抗风险之间的根本权衡是什么？
• RQ2 数据规模与质量如何影响对抗训练中的标准-鲁棒准确率权衡？
• RQ3 模型过参数化对可实现的标准风险与鲁棒风险权衡有何影响？
• RQ4 当代极小极大对抗训练算法相对于理论极限的表现如何？
• RQ5 是否可以通过额外的无标签数据缓解该权衡？这种影响如何在渐近风险表达式中体现？

主要发现

• 在高维极限下，可实现的（标准风险，对抗风险）对的帕累托最优前沿被精确表征。
• 即使在无计算或数据限制的情况下，标准风险与鲁棒风险之间仍存在非平凡的权衡。
• 对抗训练算法所达到的风险对位于理论帕累托前沿上，表明在此框架下具有最优性。
• 该权衡受比率 δ = n/p 的定量影响，随着 δ 减小，性能下降。
• 对抗训练中的扰动水平 ε 可映射为岭回归中的正则化参数 λ，揭示了二者之间的直接对应关系。
• 固定点方程组 (6.50) 确定了 γ₀^ε 与 A^ε 的平衡值，这些值完全表征了风险权衡。