[论文解读] Rethinking Lipschitz Neural Networks and Certified Robustness: A Boolean Function Perspective

Bohang Zhang, Jiang Du+2 more|arXiv (Cornell University)|Oct 4, 2022

Adversarial Robustness in Machine Learning被引用 12

一句话总结

该论文提出SortNet，一种统一的Lipschitz神经网络架构，通过利用顺序统计量实现$Â𝕃_{∞}$扰动下的最先进认证$ε$鲁棒性。通过分析布尔函数表示，证明了标准Lipschitz网络在实现认证$Â𝕃_{∞}$鲁棒性方面的基本局限性，并表明SortNet在MNIST、CIFAR-10、Tiny ImageNet和ImageNet上均实现了高于先前方法的认证准确率，即使训练轮次减少。

ABSTRACT

Designing neural networks with bounded Lipschitz constant is a promising way to obtain certifiably robust classifiers against adversarial examples. However, the relevant progress for the important $\ell_\infty$ perturbation setting is rather limited, and a principled understanding of how to design expressive $\ell_\infty$ Lipschitz networks is still lacking. In this paper, we bridge the gap by studying certified $\ell_\infty$ robustness from a novel perspective of representing Boolean functions. We derive two fundamental impossibility results that hold for any standard Lipschitz network: one for robust classification on finite datasets, and the other for Lipschitz function approximation. These results identify that networks built upon norm-bounded affine layers and Lipschitz activations intrinsically lose expressive power even in the two-dimensional case, and shed light on how recently proposed Lipschitz networks (e.g., GroupSort and $\ell_\infty$-distance nets) bypass these impossibilities by leveraging order statistic functions. Finally, based on these insights, we develop a unified Lipschitz network that generalizes prior works, and design a practical version that can be efficiently trained (making certified robust training free). Extensive experiments show that our approach is scalable, efficient, and consistently yields better certified robustness across multiple datasets and perturbation radii than prior Lipschitz networks. Our code is available at https://github.com/zbh2047/SortNet.

研究动机与目标

• 识别标准Lipschitz网络在实现布尔函数和顺序统计量的认证$Â𝕃_{∞}$鲁棒性方面的内在局限性。
• 解释为何近期架构如$Â𝕃_{∞}$-距离网络优于传统Lipschitz网络（如GroupSort和MaxMin）。
• 设计一种统一、表达能力强且可高效训练的Lipschitz网络架构，以泛化先前工作。
• 建立标准Lipschitz网络在逼近顺序统计量和对称布尔函数方面的理论不可能性结果。

提出的方法

• 通过对称布尔函数（SBF）和顺序统计量的视角分析认证$Â𝕃_{∞}$鲁棒性。
• 证明任何具有范数有界仿射层和Lipschitz激活的标准Lipschitz网络，对于有限数据集上的对称布尔函数，无法实现非零鲁棒半径，且鲁棒半径衰减为$\mathcal{O}(1/d)$。
• 建立对顺序统计量逼近误差的下界：无论网络深度或宽度如何，标准Lipschitz网络都无法在$\mathcal{O}(1 - 1/d)$误差范围内逼近$d$维顺序统计量。
• 提出SortNet，一种两层架构，通过引入完整的排序操作，泛化GroupSort和$Â𝕃_{∞}$-距离网络，实现对顺序统计量和布尔函数的精确表示。
• 设计SortNet的实际变体，采用可微排序和基于梯度的训练，实现高效认证鲁棒训练，无需额外优化技巧。
• 通过在MNIST、CIFAR-10、Tiny ImageNet和ImageNet上的大量实验验证方法，比较多种扰动半径下的认证准确率与干净准确率。

实验结果

研究问题

• RQ1 为何标准Lipschitz网络尽管具有有界Lipschitz常数，仍无法实现强认证$Â𝕃_{∞}$鲁棒性？
• RQ2 使用标准Lipschitz架构表示对称布尔函数和顺序统计量存在哪些基本局限性？
• RQ3 先进架构如$Â𝕃_{∞}$-距离网络和GroupSort如何规避这些局限性？
• RQ4 能否设计一种统一的Lipschitz网络架构，泛化先前工作，并实现高效、可扩展的认证鲁棒训练？
• RQ5 MaxMin网络表示顺序统计量和布尔函数所需的最小深度是多少？

主要发现

• 任何标准Lipschitz网络在有限数据集上对对称布尔函数均无法实现非零认证$Â𝕃_{∞}$鲁棒性，鲁棒半径衰减为$\mathcal{O}(1/d)$。
• 无论网络规模如何，标准Lipschitz网络都无法在$\mathcal{O}(1 - 1/d)$误差范围内逼近$d$维顺序统计量，解决了逼近理论中的一个开放问题。
• $Â𝕃_{∞}$-距离网络在MNIST上实现最先进认证准确率（$\mathbf{98.14\%}$，中位数认证半径$\epsilon=0.1$）和CIFAR-10上（$\mathbf{56.67\%}$，$\epsilon=2/255$），优于先前方法。
• SortNet在CIFAR-10上以仅1800个训练轮次实现$\mathbf{56.05\%}$认证准确率（$\epsilon=2/255$），超过[74]中54.12%的先前最先进水平，且未使用特殊训练技巧。
• 在ImageNet $64\times64$上，SortNet+MLP在$\epsilon=1/255$时实现$\mathbf{9.54\%}$认证准确率，证明其在大规模数据集上的可扩展性。
• 实际SortNet变体实现了无需额外技术的认证鲁棒训练，在所有数据集和扰动半径下均表现出一致的性能提升。