[论文解读] Robustness of classifiers: from adversarial to random noise

Alhussein Fawzi, Seyed-Mohsen Moosavi-Dezfooli+1 more|arXiv (Cornell University)|Aug 31, 2016

Adversarial Robustness in Machine Learning参考文献 17被引用 119

一句话总结

该论文在一个半随机噪声范式下分析分类器的鲁棒性，该范式在随机扰动和对抗性扰动之间插值，结果显示鲁棒性界依赖于边界曲率以及数据/子空间维度，并在深度网络上验证了经验有效性。

ABSTRACT

Several recent works have shown that state-of-the-art classifiers are vulnerable to worst-case (i.e., adversarial) perturbations of the datapoints. On the other hand, it has been empirically observed that these same classifiers are relatively robust to random noise. In this paper, we propose to study a extit{semi-random} noise regime that generalizes both the random and worst-case noise regimes. We propose the first quantitative analysis of the robustness of nonlinear classifiers in this general noise regime. We establish precise theoretical bounds on the robustness of classifiers in this general regime, which depend on the curvature of the classifier's decision boundary. Our bounds confirm and quantify the empirical observations that classifiers satisfying curvature constraints are robust to random noise. Moreover, we quantify the robustness of classifiers in terms of the subspace dimension in the semi-random noise regime, and show that our bounds remarkably interpolate between the worst-case and random noise regimes. We perform experiments and show that the derived bounds provide very accurate estimates when applied to various state-of-the-art deep neural networks and datasets. This result suggests bounds on the curvature of the classifiers' decision boundaries that we support experimentally, and more generally offers important insights onto the geometry of high dimensional classification problems.

研究动机与目标

• 为在介于随机扰动与对抗性扰动之间的噪声范式下的鲁棒性提供动机并形式化定义。
• 定义一个基于曲率的框架，以分析二分类和多分类的决策边界。
• 推导将半随机鲁棒性与对抗鲁棒性联系起来的界，并用数据维度和子空间维度来表述。
• 在半随机噪声模型中，为非线性分类器和仿射分类器提供理论保证。
• 在最先进的深度网络上经验性验证理论界，并可视化边界曲率。

提出的方法

• 将鲁棒性 r_S^* 定义为在子空间 S 中改变预测标签的最小扰动。
• 通过子空间维度 m 和随机子空间选择，引入随机与半随机噪声范式。
• 推导仿射分类器的界，表明 r_S^* 的尺度为 sqrt(d/m) 乘以对抗扰动 r^*。
• 将其推广到非线性分类器，使用对成对决策边界的曲率度量，并在曲率较小时证明类似的界。
• 定义并分析基于在决策边界沿线内切球的曲率 κ(B_{i,j})。
• 给出推论和实用的曲率条件，确保在多类设定下随机/半随机鲁棒性界成立。

实验结果

研究问题

• RQ1 随机和半随机噪声下的鲁棒性与仿射和非线性分类器的对抗鲁棒性之间有何关系？
• RQ2 成对决策边界的曲率在界定半随机鲁棒性中起何作用？
• RQ3 是否可以通过子空间维度 m 在随机噪声鲁棒性和最坏情况鲁棒性之间插值？
• RQ4 在跨数据集的前沿网络中，经验性深度网络是否呈现出预测的曲率相关鲁棒性特性？
• RQ5 如何可视化并估计边界曲率以支持理论界？

主要发现

• 当边界曲率较小时，仿射分类器对随机噪声的鲁棒性大致按 sqrt(d) 倍的对抗距离 r^* 来扩展。
• 在半随机范式中，鲁棒性按 sqrt(d/m) 倍的对抗距离扩展，插值于随机和最坏情况范式之间。
• 对于非线性分类器，鲁棒性界在对成对边界的曲率受限 κ(B_{i,j}) 时成立。
• 推论表明在对近类边界施加曲率约束时，r_S^* 在常数因子内接近 sqrt(d/m) 乘的 r^*，与线性情况类似。
• 在最先进的网络（如 VGG-F、VGG-19、LeNet 变体）上的实验表明，在各种 m/d 设置下预测的 beta(f;m) 值接近 1，支持理论。
• 可视化表明除了交点处曲率较大外，其他处曲率较小，与基于曲率的假设一致。