[论文解读] Robustness of classifiers to uniform $\ell\_p$ and Gaussian noise

Jean-Yves Franceschi, Alhussein Fawzi+1 more|arXiv (Cornell University)|Feb 22, 2018

Adversarial Robustness in Machine Learning参考文献 19被引用 9

一句话总结

本文通过将鲁棒性与输入数据到决策边界的距离关联起来，建立了分类器对均匀 ℓp 和高斯噪声的理论边界。对于具有随机权重的线性分类器，鲁棒性按 √d 缩放，该距离为基准；该理论可扩展至具有局部平坦决策边界的深度神经网络，并在最先进模型上通过实验得到验证。

ABSTRACT

We study the robustness of classifiers to various kinds of random noise models. In particular, we consider noise drawn uniformly from the $\ell\_p$ ball for $p \in [1, \infty]$ and Gaussian noise with an arbitrary covariance matrix. We characterize this robustness to random noise in terms of the distance to the decision boundary of the classifier. This analysis applies to linear classifiers as well as classifiers with locally approximately flat decision boundaries, a condition which is satisfied by state-of-the-art deep neural networks. The predicted robustness is verified experimentally.

研究动机与目标

• 量化分类器对随机噪声（特别是任意协方差的均匀 ℓp 和高斯噪声）的鲁棒性。
• 以到决策边界的距离来表征线性与非线性分类器的鲁棒性。
• 将理论结果从二分类推广至多分类设置。
• 在深度神经网络上通过实验验证理论边界。
• 利用所提出的框架解释深度网络对图像量化表现出的高鲁棒性。

提出的方法

• 将鲁棒性定义为最小噪声尺度 α，使得扰动输入以概率 ≥ ε 改变预测标签。
• 使用 ℓp 球上的均匀噪声（p ∈ [1, ∞]）来建模从稀疏（p=1）到密集（p=∞）的噪声情形。
• 使用任意协方差矩阵 Σ 建模相关高斯噪声。
• 利用集中不等式和 ℓp 与 ℓp′ 范数之间的对偶性，推导鲁棒性的上下界。
• 应用并集界和范数比较，将结果从二分类推广至多分类设置。
• 利用深度网络决策边界在局部近似平坦的特性，将线性模型的结果扩展至非线性模型。

实验结果

研究问题

• RQ1 在具有随机权重的线性分类器中，对均匀 ℓp 噪声的鲁棒性如何随与决策边界的距离而变化？
• RQ2 ℓp 噪声中 p 的选择对分类器鲁棒性有何影响？
• RQ3 对具有任意协方差的高斯噪声，鲁棒性如何依赖于分类器的权重结构和输入维度？
• RQ4 能否使用到决策边界的距离来预测深度神经网络在随机噪声下的鲁棒性？
• RQ5 深度网络为何对图像量化表现出鲁棒性？这一现象能否通过所提出的噪声模型加以解释？

主要发现

• 对于随机线性分类器，对均匀 ℓp 噪声的鲁棒性按 √d 缩放，与到决策边界的距离成正比，仅相差常数因子。
• 在相似条件下，对任意协方差的高斯噪声，鲁棒性同样与 √d 和到边界的距离成正比。
• 实验验证表明，理论边界能准确预测最先进深度神经网络在随机噪声下的鲁棒性。
• 该模型能够解释深度网络对图像量化表现出的高鲁棒性，与经验观察一致。
• 边界对多分类设置具有鲁棒性，通过并集界将误差阈值 ε 调整为 L 个类别的 ε/(L−1)。
• 该分析将先前关于 ℓ2 鲁棒性的研究推广至更广泛的噪声情形，包括稀疏噪声和相关噪声。