[论文解读] Provable Robustness of ReLU networks via Maximization of Linear Regions

Francesco Croce, Maksym Andriushchenko+1 more|arXiv (Cornell University)|Oct 17, 2018

Adversarial Robustness in Machine Learning被引用 72

一句话总结

这篇论文为 ReLU 网络引入最大边距正则化器（MMR），通过扩大线性区域和到决策边界的距离，使可证明鲁棒性保证和鲁棒性界限得到提升，同时保持有竞争力的准确率。

ABSTRACT

It has been shown that neural network classifiers are not robust. This raises concerns about their usage in safety-critical systems. We propose in this paper a regularization scheme for ReLU networks which provably improves the robustness of the classifier by maximizing the linear regions of the classifier as well as the distance to the decision boundary. Our techniques allow even to find the minimal adversarial perturbation for a fraction of test points for large networks. In the experiments we show that our approach improves upon adversarial training both in terms of lower and upper bounds on the robustness and is comparable or better than the state-of-the-art in terms of test error and robustness.

研究动机与目标

• 在安全关键场景中为神经网络提供鲁棒性保证的动机。
• 开发一种正则化方案，在 ReLU 网络中增大线性区域的规模以及到决策边界的距离。
• 提供可计算的下界和上界鲁棒性界限，并与对抗性训练结合。
• 在多个数据集和架构上展示改进的可证明鲁棒性和可验证性。

提出的方法

• 将 ReLU 网络表示为连续分段仿射函数，并描述它们的线性区域 Q(x)。
• 使用区域特定的仿射映射 V^{(l)} 和 a^{(l)} 定义到区域边界的距离 d_B(x) 和到决策边界的距离 d_D(x)。
• 推导鲁棒性保证：当 d_B(x) ≤ d_D(x) 时，d_B(x) 是最小扰动的下界；当 d_D(x) ≤ d_B(x) 时，d_D(x) 等于最小扰动。
• 引入最大边距正则化器（MMR），结合接近区域边界和近距离决策边界的惩罚，如方程 (5)。
• 提供一个实用变体 kMMR，它对最近的 k 个区域和决策超平面取平均以加速训练。
• 用标准交叉熵损失加上 λ·MMR(x) 进行训练，以获得可证明鲁棒的分类器。
• 论证 MMR 通过产生易于混合整数规划认证的模型来提升可验证性。

实验结果

研究问题

• RQ1 我们如何用到线性区域边界和决策边界的距离来量化 ReLU 网络的鲁棒性？
• RQ2 对这些几何距离进行正则化是否能产生对对抗扰动的可证明下界/上界？
• RQ3 最大边距正则化是否同时提升网络的经验鲁棒性和可验证性（可验证性）？
• RQ4 MMR 如何与对抗性训练相互作用，以在常见范数（l2、l∞）下增强鲁棒性保证？

主要发现

• 与未正则化基线相比，MMR 显著增大了训练后网络的线性区域大小。
• 所提鲁棒性保证（定理 3.1）为许多输入提供可计算的对最小扰动的下界和上界，提升了可证性。
• MMR（以及结合对抗性训练的 MMR）在 MNIST、GTS、Fashion-MNIST 和 CIFAR-10 上给出比若干先前方法更紧的可证明鲁棒性界限。
• MMR 模型用 MIP 进行认证的速度显著提高，在许多设置下接近全部可证性，与普通方法或某些竞争方法不同。
• 在经验上，MMR 同时提高鲁棒性界限和测试准确性，并相对于 KW 或 Xiao 等方法提升可验证性。