[论文解读] Provable tradeoffs in adversarially robust classification

Edgar Dobriban, Hamed Hassani+2 more|arXiv (Cornell University)|Jun 9, 2020

Advanced Statistical Methods and Models被引用 4

一句话总结

该论文在 $\varepsilon$-有界 $\ell_2$ 和 $\ell_\infty$ 对抗扰动下，推导出两类和三类高斯混合模型的可证明最优鲁棒分类器，揭示了标准准确率与鲁棒准确率之间存在的根本性权衡，且该权衡随类别不平衡而加剧。利用鲁棒等周几何与高斯测度集中工具，该研究建立了精确的贝叶斯最优解，并给出了经验鲁棒风险最小化在有限样本下的收敛速率。

ABSTRACT

It is well known that machine learning methods can be vulnerable to adversarially-chosen perturbations of their inputs. Despite significant progress in the area, foundational open problems remain. In this paper, we address several key questions. We derive exact and approximate Bayes-optimal robust classifiers for the important setting of two- and three-class Gaussian classification problems with arbitrary imbalance, for $\ell_2$ and $\ell_\infty$ adversaries. In contrast to classical Bayes-optimal classifiers, determining the optimal decisions here cannot be made pointwise and new theoretical approaches are needed. We develop and leverage new tools, including recent breakthroughs from probability theory on robust isoperimetry, which, to our knowledge, have not yet been used in the area. Our results reveal fundamental tradeoffs between standard and robust accuracy that grow when data is imbalanced. We also show further results, including an analysis of classification calibration for convex losses in certain models, and finite sample rates for the robust risk.

研究动机与目标

• 理解在类别不平衡条件下，对抗鲁棒分类中标准准确率与鲁棒准确率之间的根本性权衡。
• 推导出具有任意类别不平衡的两类和三类高斯模型的精确贝叶斯最优鲁棒分类器。
• 分析鲁棒风险的优化景观及其与凸代理损失之间的联系。
• 提供低维设置下一维经验鲁棒风险最小化的有限样本收敛速率。

提出的方法

• 利用鲁棒等周几何与高斯测度集中工具，刻画在 $\ell_2$ 和 $\ell_\infty$ 扰动下的最优决策边界。
• 通过求解高斯等周几何下的极值集，推导出精确的贝叶斯最优分类器，表明最优决策依赖于全局数据结构，而非逐点似然。
• 使用 Dvoretzky–Kiefer–Wolfowitz 不等式，建立在至多 $k$ 个区间区域的一维分类器上，经验鲁棒风险的统一集中性。
• 证明了凸代理损失（如合页损失、逻辑损失）的优化器与所考虑模型下的非凸鲁棒 0-1 损失一致。
• 通过分析鲁棒风险作为扰动半径 $\varepsilon$、类别均值和类别先验的函数，量化了权衡关系。
• 建立了在一类数据中至多具有 $2k$ 个区间区域的分类器上，经验鲁棒风险的有限样本收敛速率 $O(k/\sqrt{n})$。

实验结果

研究问题

• RQ1 在类别不平衡条件下，两类和三类高斯模型在 $\ell_2$ 和 $\ell_\infty$ 对抗攻击下的贝叶斯最优鲁棒分类器的确切形式是什么？
• RQ2 类别不平衡如何影响对抗设置下标准准确率与鲁棒准确率之间的根本性权衡？
• RQ3 在高斯混合模型中，鲁棒训练中的凸代理损失是否与非凸鲁棒 0-1 损失产生相同的最优分类器？
• RQ4 在一维设置下，线性与分段常数分类器的经验鲁棒风险最小化的有限样本收敛速率是什么？
• RQ5 决策区域的 $\ell_p$-球扩张的几何结构如何影响高斯模型中的鲁棒风险？

主要发现

• 在 $\ell_2$ 和 $\ell_\infty$ 扰动下，高斯混合模型的贝叶斯最优鲁棒分类器无法通过逐点分析确定，而需借助鲁棒等周几何进行全局几何分析。
• 存在标准准确率与鲁棒准确率之间的根本性权衡，且随类别不平衡加剧而恶化，导致两者无法同时优化。
• 对于一维数据，经验鲁棒风险在至多具有 $2k$ 个区间区域的分类器上以速率 $O(k/\sqrt{n})$ 统一收敛。
• 在所考虑的高斯模型下，凸代理损失（如合页损失、逻辑损失）的优化器与非凸鲁棒 0-1 损失一致，意味着最优决策规则等价。
• 半空间的 $\ell_\varepsilon$-扩张仍为半空间，从而可对线性分类器使用基于 VC 维的统一集中性论证。
• 具有 $k$-区间决策区域的分类器的鲁棒风险以速率 $O(k/\sqrt{n})$ 统一集中，高概率为 $1 - 4\exp(-2n\delta^2/k^2)$。