[论文解读] Universal Lipschitz Approximation in Bounded Depth Neural Networks

Jérémy E. Cohen, Todd Huster+1 more|arXiv (Cornell University)|Apr 9, 2019

Adversarial Robustness in Machine Learning参考文献 28被引用 11

一句话总结

本文证明了使用 FullSort 激活函数的三层神经网络是通用利普希茨逼近器（ULAs），能够以有界深度逼近任意利普希茨函数。该方法通过保持紧密的利普希茨界，在图像分类中实现了经认证的鲁棒性，在 MNIST 和 2D 螺旋数据集上的实证鲁棒性优于 ReLU 和 SDP 网络。

ABSTRACT

Adversarial attacks against machine learning models are a rather hefty obstacle to our increasing reliance on these models. Due to this, provably robust (certified) machine learning models are a major topic of interest. Lipschitz continuous models present a promising approach to solving this problem. By leveraging the expressive power of a variant of neural networks which maintain low Lipschitz constants, we prove that three layer neural networks using the FullSort activation function are Universal Lipschitz function Approximators (ULAs). This both explains experimental results and paves the way for the creation of better certified models going forward. We conclude by presenting experimental results that suggest that ULAs are a not just a novelty, but a competitive approach to providing certified classifiers, using these results to motivate several potential topics of further research.

研究动机与目标

• 为使用利普希茨连续性的深度学习中的经认证鲁棒性建立理论基础。
• 解决现有对抗性防御方法依赖经验训练且易被攻破的局限性。
• 证明具有特定激活函数的有界深度神经网络可普遍逼近利普希茨函数。
• 通过利用基于排序的激活函数，提升经认证鲁棒模型的实际可用性和性能。
• 探索使用新型激活函数训练利普希茨有界网络时的优化与泛化挑战。

提出的方法

• 在三层数的前馈网络中使用 FullSort 激活函数，以强制实现全局利普希茨连续性。
• 证明了具有三层次的 FullSort 网络可在紧致域上逼近任意利普希茨函数，从而确立其为通用利普希茨逼近器（ULAs）。
• 采用一种变体排序操作，在保持低利普希茨常数的同时实现高表示能力。
• 应用外多面体方法和随机平滑法，计算在 $L_∞$ 和 $L_2$ 扰动下的经认证鲁棒性边界。
• 通过精细网格梯度采样测量经验利普希茨常数，在 2D 螺旋和 MNIST 数据集上实证评估性能。
• 将 GroupSort 网络与 ReLU、SDP 和基于 LMT 的模型进行比较，以验证鲁棒性与准确率之间的权衡。

实验结果

研究问题

• RQ1 在 $L_\infty$ 范数下，使用 FullSort 激活函数的三层数神经网络是否能普遍逼近任意利普希茨函数？
• RQ2 GroupSort 基础网络在经认证鲁棒性和实证准确率方面与 ReLU 和 SDP 网络相比如何？
• RQ3 尽管深度具有理论优势，为何在 MNIST 上两层 GroupSort 网络在 $L_\infty$ 鲁棒性方面优于更深的架构？
• RQ4 在训练基于排序的激活函数的利普希茨有界网络时，关键的架构与优化挑战是什么？
• RQ5 在 $L_2$ 或一般 $L_p$ 范数下，映射从 $\mathbb{R}^n$ 到 $\mathbb{R}^m$ 的 ULA 是否存在？

主要发现

• 三层次 FullSort 网络被证明是通用利普希茨逼近器（ULAs），可在紧致域上逼近任意 $1$-利普希茨函数。
• 在 2D 螺旋数据集上，三层次 GroupSort-10 网络的利普希茨界比达到 1.20，显著优于 ReLU（3.17）和 SDP（2.24）。
• 在 MNIST 上，两层 GroupSort-10 网络提供了最强的 $L_\infty$ 经认证边界，优于 ReLU 和 SDP 基线。
• 对于 $L_2$ 扰动，四层 OPLU 网络优于其他方法，表明深度在该范数下可提升鲁棒性。
• 尽管具有强大的理论保证，优化困难限制了深层网络的性能提升，且所有实验中均未观察到过拟合现象。
• 结果表明，训练不稳定性而非泛化能力，是将利普希茨有界网络扩展到两层以上的主要瓶颈。