[论文解读] The coupling effect of Lipschitz regularization in deep neural networks

Nicolas Couëllan|arXiv (Cornell University)|Apr 12, 2019

Adversarial Robustness in Machine Learning参考文献 14被引用 6

一句话总结

本文表明，深度神经网络中的Lipschitz正则化会在层间产生耦合效应，使部分权重增长的同时，其他权重进行补偿，从而维持较小的整体Lipschitz常数。这种耦合效应在不牺牲表达能力的前提下增强了对输入噪声的鲁棒性，在波士顿房价数据集上的表现优于逐层或基于范数的正则化方法。

ABSTRACT

We investigate robustness of deep feed-forward neural networks when input data are subject to random uncertainties. More specifically, we consider regularization of the network by its Lipschitz constant and emphasize its role. We highlight the fact that this regularization is not only a way to control the magnitude of the weights but has also a coupling effect on the network weights accross the layers. We claim and show evidence on a dataset that this coupling effect brings a tradeoff between robustness and expressiveness of the network. This suggests that Lipschitz regularization should be carefully implemented so as to maintain coupling accross layers.

研究动机与目标

• 研究Lipschitz正则化在输入不确定性下对深度神经网络鲁棒性的影响。
• 分析Lipschitz正则化在神经网络各层之间产生的耦合效应，而不仅限于对权重大小的简单控制。
• 评估该耦合机制是否能改善鲁棒性与网络表达能力之间的权衡。
• 在真实世界回归数据集上，比较不同正则化策略——逐层正则化、全局Lipschitz正则化和MaxNorm——的表现。

提出的方法

• 将网络建模为线性变换与Lipschitz连续激活函数的复合，整体映射的鲁棒性由其Lipschitz常数界定。
• 利用权重矩阵的算子范数分析噪声在网络中的传播，表明输出噪声与各层范数的乘积成比例。
• 在Keras中实现自定义方法，引入三种正则化方案：无正则化、逐层Lipschitz正则化和全局Lipschitz正则化。
• 训练过程使用200个周期，批量大小为50，超参数通过在波士顿房价数据集的4/5上进行网格搜索进行调优。
• 在剩余的1/5数据上评估鲁棒性，添加不同水平的合成加性噪声（η ∈ {0, 0.2, 0.4, 0.6}）。
• 跟踪并比较不同方法下各层的谱范数以及网络Lipschitz常数的上界。

实验结果

研究问题

• RQ1 Lipschitz正则化如何影响深度神经网络中各层权重大小的分布？
• RQ2 Lipschitz正则化的耦合效应是否相比标准正则化技术能更好地改善鲁棒性-表达能力之间的权衡？
• RQ3 全局Lipschitz正则化与逐层或MaxNorm正则化相比，在处理输入噪声方面表现如何？
• RQ4 该耦合机制在保持整体网络Lipschitz常数较低的同时，能在多大程度上允许单个层的权重较大？
• RQ5 该耦合效应是否可被利用以在输入不确定性下提升泛化能力而不引起过拟合？

主要发现

• 在所有噪声水平下，Lipschitz正则化均实现了最低的平均绝对验证误差，优于逐层正则化和MaxNorm方法。
• 在最高噪声水平（η = 0.6）下，Lipschitz正则化使平均绝对误差的下降速度比逐层正则化快约50%。
• 全局Lipschitz正则化允许各层具有更高的谱范数——例如，∥W₁∥ = 3.464——相比逐层正则化（2.508）和MaxNorm（2.383），表明权重具有更大的灵活性。
• 在全局正则化下，网络Lipschitz常数的上界为12.31，低于逐层正则化（13.52），表明具有更好的噪声控制能力。
• MaxNorm方法对权重的限制最为均匀，因此整体Lipschitz常数最低（7.66），但在验证误差上表现较差。
• 由全局Lipschitz正则化所实现的耦合机制，使鲁棒性与表达能力之间达到更优平衡，这在输入不确定性下的优越泛化能力中得到验证。