[论文解读] Sharp Statistical Guarantees for Adversarially Robust Gaussian Classification

Dan Chen, Yuting Wei+1 more|arXiv (Cornell University)|Jun 29, 2020

Adversarial Robustness in Machine Learning参考文献 39被引用 6

一句话总结

该论文在对抗信号噪声比（AdvSNR）下建立了对抗鲁棒高斯分类的首个极小极大下界，证明了针对AdvSNR $r$、维度 $d$ 和样本量 $n$ 的过剩风险下界为 $ϸ(e^{-(¹⁄¹¹+o(1))r^{2}}×\frac{d}{n})$。此外，论文提出了一种计算高效的估计器，实现了最优收敛速率，并在 $β_p$-范数扰动下提供了精确的统计保证，且对协方差和类别分离的假设要求最低。

ABSTRACT

Adversarial robustness has become a fundamental requirement in modern machine learning applications. Yet, there has been surprisingly little statistical understanding so far. In this paper, we provide the first result of the optimal minimax guarantees for the excess risk for adversarially robust classification, under Gaussian mixture model proposed by \cite{schmidt2018adversarially}. The results are stated in terms of the Adversarial Signal-to-Noise Ratio (AdvSNR), which generalizes a similar notion for standard linear classification to the adversarial setting. For the Gaussian mixtures with AdvSNR value of $r$, we establish an excess risk lower bound of order $Θ(e^{-(\frac{1}{8}+o(1)) r^2} \frac{d}{n})$ and design a computationally efficient estimator that achieves this optimal rate. Our results built upon minimal set of assumptions while cover a wide spectrum of adversarial perturbations including $\ell_p$ balls for any $p \ge 1$.

研究动机与目标

• 在最小假设下建立对抗鲁棒高斯分类中过剩风险的首个极小极大下界。
• 以对抗信号噪声比（AdvSNR）为参数，刻画鲁棒分类的统计极限。
• 设计一种能实现最优极小极大收敛速率的计算高效估计器。
• 将结果从 $β_\u221e$-型扰动推广至任意 $\u03b2_p$-范数（$p \geq 1$）。
• 全面理解条件高斯模型中鲁棒性与统计效率之间的权衡。

提出的方法

• 通过对抗扰动将标准分类问题映射为鲁棒问题，推导过剩风险的极小极大下界。
• 引入对抗信号噪声比（AdvSNR）作为刻画鲁棒性与统计复杂度的关键参数。
• 通过求解考虑 $β_p$-范数球内对抗扰动的约束二次优化问题，构建鲁棒分类器。
• 使用测度变换方法，并通过标准分布到鲁棒分布的映射，关联标准与鲁棒的过剩风险。
• 采用构造性证明表明：对于任意具有AdvSNR $r$ 的标准分布，均存在一个具有相同信号强度的对应鲁棒分布。
• 应用一阶最优性条件，验证对抗扰动问题的解与所需鲁棒分类器一致。

实验结果

研究问题

• RQ1 在高斯混合模型下，对抗鲁棒分类的根本统计极限是什么？
• RQ2 对抗信号噪声比（AdvSNR）如何影响鲁棒分类中的极小极大过剩风险？
• RQ3 在鲁棒高斯分类设置中，计算高效的估计器能否实现最优极小极大收敛速率？
• RQ4 鲁棒分类的统计保证与标准（非对抗）设置下的统计保证相比如何？
• RQ5 结果能在多大程度上推广至任意 $β_p$-范数的对抗扰动？

主要发现

• 对抗鲁棒高斯分类中过剩风险的极小极大下界为 $\u03a9_P(\exp(-(\frac{1}{8}+o(1))r^2)\frac{d}{n})$，其中涉及AdvSNR $r$、维度 $d$ 和样本量 $n$。
• 构造了一个计算高效的估计器，其过剩风险为 $O_P(\exp(-(\frac{1}{8}+o(1))r^2)\frac{d}{n})$，与下界仅相差低阶项。
• 结果在最小假设下成立，包括未知且任意的协方差矩阵，且无需类别分离要求。
• 该框架可推广至所有 $\u03b2_p$-范数（$p \geq 1$），不仅限于 $\u03b2_\u221e$-型扰动。
• 鲁棒过剩风险由变换后分布的标准过剩风险下界控制，从而可将问题归约为标准分类设置。
• 分析表明，对抗鲁棒性带来一个统计代价，其随AdvSNR的平方呈指数增长，量化了鲁棒性与准确性之间的内在权衡。