[论文解读] On Lipschitz Regularization of Convolutional Layers using Toeplitz Matrix Theory

Alexandre Araujo, Benjamin Négrevergne+2 more|arXiv (Cornell University)|Jun 15, 2020

Face and Expression Recognition参考文献 32被引用 18

一句话总结

该论文提出了一种新颖且高效的卷积层Lipschitz常数上界估计方法，基于Toeplitz矩阵理论与傅里叶分析，实现了快速且紧致的谱范数估计。该方法在速度和精度上显著优于迭代幂法，使得在Wide ResNet等深度网络中实现有效的Lipschitz正则化成为可能，从而提升了对抗鲁棒性。

ABSTRACT

This paper tackles the problem of Lipschitz regularization of Convolutional Neural Networks. Lipschitz regularity is now established as a key property of modern deep learning with implications in training stability, generalization, robustness against adversarial examples, etc. However, computing the exact value of the Lipschitz constant of a neural network is known to be NP-hard. Recent attempts from the literature introduce upper bounds to approximate this constant that are either efficient but loose or accurate but computationally expensive. In this work, by leveraging the theory of Toeplitz matrices, we introduce a new upper bound for convolutional layers that is both tight and easy to compute. Based on this result we devise an algorithm to train Lipschitz regularized Convolutional Neural Networks.

研究动机与目标

• 解决深度网络中精确Lipschitz常数计算的计算不可行性问题。
• 开发一种比现有迭代方法更紧致且更高效的卷积层谱范数上界估计方法。
• 实现在深度学习中实用的Lipschitz正则化，以提升泛化能力与对抗鲁棒性。
• 利用Toeplitz与双块Toeplitz矩阵理论，通过傅里叶分析推导出谱范数的闭式上界。

提出的方法

• 该方法将卷积层建模为堆叠的双块Toeplitz矩阵，利用其结构进行谱分析。
• 应用Toeplitz矩阵理论的结果，通过生成函数的逆傅里叶变换来界定最大奇异值。
• 基于滤波核的二维傅里叶变换模的essupremum，推导出谱范数的闭式上界。
• 通过FFT高效计算该上界，避免了迭代幂法的计算过程。
• 通过基于梯度的优化将该方法集成到训练过程中，以正则化整个网络的Lipschitz常数。

实验结果

研究问题

• RQ1 Toeplitz矩阵理论能否为卷积层谱范数估计提供一种比迭代幂法更紧致且更快的替代方案？
• RQ2 与现有方法（如幂法或循环矩阵近似）相比，所提出的上界在准确性和效率方面表现如何？
• RQ3 使用该上界进行Lipschitz正则化在多大程度上提升了深度网络的对抗鲁棒性？
• RQ4 该方法能否在不产生过高计算成本的前提下，高效扩展至Wide ResNet等大型网络架构？

主要发现

• 所提出的LipBound方法在SqueezeNet和DenseNet等大型网络上，相比10次迭代的幂法，速度最高提升12倍。
• 在Wide ResNet 50-2上，LipBound比幂法快4.13倍，平均推理时间分别为113.28ms与468.74ms。
• 与基于循环矩阵的方法相比，该方法对谱范数的上界估计更紧致。
• 使用LipBound进行Lipschitz正则化显著提升了对抗鲁棒性，优于仅使用标准对抗训练的方法。
• 理论上的上界源自滤波核生成函数的二维傅里叶变换，支持闭式计算。