[论文解读] Random Fully Connected Neural Networks as Perturbatively Solvable Hierarchies

Boris Hanin|arXiv (Cornell University)|Apr 3, 2022

Neural Networks and Applications被引用 4

一句话总结

该论文提出了一套微扰框架，用于分析具有高斯权重和偏置的随机全连接神经网络，表明输出及其导数的联合累积量构成一个可按 $1/n$ 的幂次求解的层级结构，其中 $n$ 为网络宽度。关键结果是深度与宽度之比 $L/n$（称为有效深度）控制非高斯涨落与相关性，并调控梯度爆炸/消失问题，其影响在主导阶上按 $L/n$ 缩放。

ABSTRACT

This article considers fully connected neural networks with Gaussian random weights and biases as well as $L$ hidden layers, each of width proportional to a large parameter $n$. For polynomially bounded non-linearities we give sharp estimates in powers of $1/n$ for the joint cumulants of the network output and its derivatives. Moreover, we show that network cumulants form a perturbatively solvable hierarchy in powers of $1/n$ in that $k$-th order cumulants in one layer have recursions that depend to leading order in $1/n$ only on $j$-th order cumulants at the previous layer with $j\leq k$. By solving a variety of such recursions, however, we find that the depth-to-width ratio $L/n$ plays the role of an effective network depth, controlling both the scale of fluctuations at individual neurons and the size of inter-neuron correlations. Thus, while the cumulant recursions we derive form a hierarchy in powers of $1/n$, contributions of order $1/n^k$ often grow like $L^k$ and are hence non-negligible at positive $L/n$. We use this to study a somewhat simplified version of the exploding and vanishing gradient problem, proving that this particular variant occurs if and only if $L/n$ is large. Several key ideas in this article were first developed at a physics level of rigor in a recent monograph of Daniel A. Roberts, Sho Yaida, and the author. This article not only makes these ideas mathematically precise but also significantly extends them, opening the way to obtaining corrections to all orders in $1/n$.

研究动机与目标

• 为研究随机全连接神经网络中的有限宽度效应提供一个数学上严格的框架。
• 刻画深度与宽度共同影响网络输出与梯度统计特性的机制。
• 在一般且非渐近的设定下，通过累积量分析解决梯度爆炸与消失问题。
• 将先前基于物理启发的结果推广为完全严谨的、高阶的 $1/n$ 微扰形式体系。

提出的方法

• 推导出网络输出及其导数在各层之间的联合累积量的精确递推关系，适用于所有阶的 $1/n$。
• 采用 $1/n$ 的微扰展开，表明 $k$ 阶累积量在主导阶上仅依赖于前一层的低阶累积量。
• 引入双标度极限，其中 $n, L \to \infty$ 且 $L/n \to \xi \in [0, \infty)$，揭示在 $\xi > 0$ 时存在非高斯行为。
• 显式计算了二阶、三阶与四阶累积量的渐近表达式，包括梯度的方差与相关性结构。
• 将该形式体系应用于推导梯度方差相对于输入与参数的主导阶行为，表明其按 $L/n$ 缩放。
• 利用累积量生成函数与威克定理，在大 $n$ 极限下计算高阶矩与相关性。

实验结果

研究问题

• RQ1 在深度随机神经网络中，有限宽度效应如何体现在输出与梯度的联合分布中？
• RQ2 深度与宽度之比 $L/n$ 在决定随机网络中涨落与相关性的尺度方面起什么作用？
• RQ3 是否可以在无限宽度极限之外，对随机全连接网络中的梯度爆炸与消失问题进行数学刻画？
• RQ4 $1/n$ 阶的累积量递推关系如何实现对有限宽度下高斯过程极限的系统性修正？

主要发现

• 对于属于 $K_* = 0$ 普适类的非线性激活函数，网络输出的 $2k$ 阶累积量按 $(L/n)^{k/2 - 1}$ 增长（$k = 2,3,4$），表明 $L/n$ 控制非高斯性。
• 网络输出关于输入或第一层参数的梯度方差在 $1/n$ 的主导阶上按 $L/n$ 缩放，从而对梯度爆炸/消失问题提供了精确的数学刻画。
• 有效深度 $L/n$ 同时控制神经元间的相关性与单个神经元的涨落，其影响在 $1/n^k$ 阶上按 $L^k$ 增长，使得 $L/n$ 成为主导控制参数。
• 累积量层级可进行微扰求解：在 $1/n$ 的主导阶上，第 $\ell+1$ 层的 $k$ 阶累积量仅依赖于第 $\ell$ 层的 $j \leq k$ 阶累积量。
• 在双标度极限 $n, L \to \infty$ 且 $L/n \to \xi$ 下，网络表现出在 $L/n \to 0$ 区域未捕捉到的非高斯与非线性效应。
• 显式渐近表达式表明 $S_{(11)}^{(\ell)} \sim \frac{\ell}{3n} K_{(11)}^{(\ell)}$，证实梯度方差与 $L/n$ 呈线性关系。