[论文解读] On Tighter Generalization Bound for Deep Neural Networks: CNNs, ResNets, and Beyond

Xingguo Li, Junwei Lu+3 more|arXiv (Cornell University)|Jun 13, 2018

Neural Networks and Applications被引用 12

一句话总结

本文通过引入一种新颖的基于雅可比矩阵的利普希茨特性表征，提出了针对深度神经网络的更紧致的基于边缘的泛化界，显著优于现有的基于范数的界。该方法在标准架构（如CNN和ResNet）上实现了显著更紧致的泛化界，实证验证表明其相比先前工作实现了数量级的改进。

ABSTRACT

We establish a margin based data dependent generalization error bound for a general family of deep neural networks in terms of the depth and width, as well as the Jacobian of the networks. Through introducing a new characterization of the Lipschitz properties of neural network family, we achieve significantly tighter generalization bounds than existing results. Moreover, we show that the generalization bound can be further improved for bounded losses. Aside from the general feedforward deep neural networks, our results can be applied to derive new bounds for popular architectures, including convolutional neural networks (CNNs) and residual networks (ResNets). When achieving same generalization errors with previous arts, our bounds allow for the choice of larger parameter spaces of weight matrices, inducing potentially stronger expressive ability for neural networks. Numerical evaluation is also provided to support our theory.

研究动机与目标

• 解决深度神经网络缺乏随深度和宽度良好扩展的紧致泛化界的问题。
• 克服现有基于范数乘积（特别是Frobenius范数和2,1-范数）的界过于松散的问题。
• 开发一种显式结合网络架构（如CNN和ResNet中的权矩阵结构）的泛化界。
• 证明所提出的界可在保持相同泛化误差的同时允许更大的参数空间，从而提升模型表达能力。
• 通过在真实世界数据集和网络架构上的实证评估，验证理论改进的有效性。

提出的方法

• 提出一种基于网络雅可比矩阵谱范数的新方法，表征深度神经网络的利普希茨性质。
• 推导出一个基于边缘的泛化误差界，其随雅可比范数 $\|\text{Jacobian}\|_2$、深度 $D$、宽度 $p$ 和样本大小 $m$ 而变化。
• 通过利用结构特性（如CNN中的正交滤波器和ResNet中的跳跃连接），将该界应用于标准架构。
• 证明对于有界损失函数，该界可进一步收紧，实现与规模无关的泛化误差率。
• 通过实证估计雅可比范数和权矩阵范数，比较所提界与现有基于范数界的紧致性。
• 在CIFAR-10上训练的VGG19上进行数值实验，比较 $B^{\text{Jac}}_{1:D}$ 和 $\prod_d B_{d,2}$ 的实证值，证明基于雅可比矩阵的度量具有优越性。

实验结果

研究问题

• RQ1 我们能否推导出一种对权矩阵范数乘积依赖更小的更紧致的深度神经网络泛化界？
• RQ2 与传统的基于范数的方法相比，基于雅可比矩阵的利普希茨特性表征如何改进泛化界？
• RQ3 所提出的界能否有效应用于具有结构化的架构（如CNN和ResNet），并利用其权矩阵结构？
• RQ4 所提出的界是否允许在保持相同泛化误差的同时扩大参数空间，从而增强模型表达能力？
• RQ5 在真实训练场景中，雅可比范数的实证值与谱范数和Frobenius范数等传统范数相比如何？

主要发现

• 所提出的泛化界呈 $\widetilde{\mathcal{O}}(\|\text{Jacobian}\|_2 \sqrt{Dpr/m})$ 的形式，相比基于 $\prod_d \|W_d\|_2$ 或 $\prod_d \|W_d\|_\text{F}$ 的先前界显著更紧致。
• 在CIFAR-10上的VGG19中，$B^{\text{Jac}}_{1:D}$ 的实证值约为 $\prod_d B_{d,2}$ 的两数量级小，表明其界更紧致。
• 雅可比范数 $B^{\text{Jac}}_{1:D}$ 随深度的增长速度慢于 $\prod_d B_{d,2}$，表明其对深度的依赖为次二次方或更慢。
• 在CNN中，该界达到 $\widetilde{\mathcal{O}}\big{(}(k/s)^{D/2} \sqrt{Dk^2}/\sqrt{m}\big{)}$，比先前工作的 $\widetilde{\mathcal{O}}\big{(}(k/s)^{(D-1)/2} \sqrt{D^3 p^2}/\sqrt{m}\big{)}$ 更紧致。
• 实证结果表明，泛化误差随滤波器范数减小而降低，但过小的范数会损害准确率，证实了权值初始化平衡的必要性。
• 即使使用 $\prod_d B_{d,2}$ 而非更精细的 $B^{\text{Jac}}_{1:D}$，该界仍保持紧致，但后者仍显著更小，证实其优越性。