[论文解读] Stable behaviour of infinitely wide deep neural networks

Stefano Favaro, Sandra Fortini+1 more|arXiv (Cornell University)|Mar 1, 2020

Stochastic Gradient Optimization Techniques参考文献 16被引用 10

一句话总结

本文证明了在无限宽度极限下，具有独立同分布的对称稳定分布权重和偏置的全连接深度神经网络，其输出在分布上收敛于一个稳定随机过程，推广了已知的高斯过程极限。该极限过程表现出多变量稳定有限维分布，其参数通过逐层传播的递归规则计算得出，为分析宽深层网络提供了一种非高斯的替代方案，以替代高斯过程极限。

ABSTRACT

We consider fully connected feed-forward deep neural networks (NNs) where weights and biases are independent and identically distributed as symmetric centered stable distributions. Then, we show that the infinite wide limit of the NN, under suitable scaling on the weights, is a stochastic process whose finite-dimensional distributions are multivariate stable distributions. The limiting process is referred to as the stable process, and it generalizes the class of Gaussian processes recently obtained as infinite wide limits of NNs (Matthews at al., 2018b). Parameters of the stable process can be computed via an explicit recursion over the layers of the network. Our result contributes to the theory of fully connected feed-forward deep NNs, and it paves the way to expand recent lines of research that rely on Gaussian infinite wide limits.

研究动机与目标

• 将无限宽深度神经网络的理论理解从高斯过程极限推广至更广泛的情形。
• 研究当权重和偏置初始化服从具有无限方差的对称稳定分布时，深度网络的行为特征。
• 在各层联合趋于无限宽度的条件下，严格建立网络输出收敛于稳定随机过程的分布收敛性。
• 提供一种递归方法，用于计算网络深度方向上极限稳定过程的参数。
• 探索在训练后的卷积神经网络中，稳定分布的实证证据，表明真实世界中过参数化模型存在非高斯行为。

提出的方法

• 将网络权重和偏置初始化为独立同分布的对称稳定分布，稳定性指数 α ∈ (0,2]，其中高斯分布为特殊情况（α=2）。
• 在所有层上采用联合无限宽度缩放，而非逐层进行，以确保有限维分布的收敛性。
• 通过在各层间递归传播尺度参数，推导出网络输出的极限分布为多变量稳定分布。
• 利用特征函数及稳定分布的稳定性性质，证明网络输出过程的分布收敛性。
• 采用对称化离散谱测度的蒙特卡洛采样方法，模拟极限稳定过程并数值验证收敛性。
• 使用最大似然估计拟合训练后卷积神经网络的权重和偏置分布，通过经验累积分布函数比较稳定分布与高斯分布的拟合优度。

实验结果

研究问题

• RQ1 当权重和偏置为独立同分布的对称稳定分布且网络宽度趋于无穷时，全连接深度神经网络的极限分布是什么？
• RQ2 具有重尾初始化的深度网络在无限宽度极限下，与经典的高斯过程极限有何不同？
• RQ3 极限稳定过程的参数能否通过网络各层间的递归方式计算？
• RQ4 训练后的深度神经网络是否表现出比高斯分布更优的稳定分布拟合效果？
• RQ5 在使用批量归一化和自适应优化器训练的ImageNet数据集上的过参数化CNN中，是否存在稳定分布的实证证据？

主要发现

• 具有独立同分布对称稳定分布权重和偏置的深度神经网络，在无限宽度极限下，其输出在分布上收敛于具有多变量稳定有限维分布的稳定随机过程。
• 该极限过程推广了已知的高斯过程极限，仅当稳定性指数 α = 2 时恢复为高斯情形。
• 极限稳定过程的参数通过递归公式计算，该公式可将尺度参数和谱测度逐层传播。
• 数值模拟显示，即使在中等宽度（n=300）下，有限宽度网络输出与理论极限稳定分布也表现出高度一致。
• 对训练后的VGG-16、ResNet-50和ResNet-101模型的实证分析表明，权重和偏置分布的稳定性指数 α 通常小于2，表明存在非高斯行为。
• 拟合优度检验显示，稳定分布在捕捉网络参数的尾部行为方面优于高斯分布，尤其在极端值区域表现更优。