[论文解读] Tensor Programs III: Neural Matrix Laws

Greg Yang|arXiv (Cornell University)|Sep 22, 2020

Stochastic Gradient Optimization Techniques参考文献 50被引用 19

一句话总结

本文提出了自由独立性原理（FIP），证明在随机初始化的宽深层神经网络中，预激活值在自由概率论的意义下，渐近地与权重矩阵自由独立。通过一种新的张量程序主定理，作者严格证明了先前在雅可比行列式奇异值分布和神经正切核研究中所使用的自由独立性假设，建立了所有神经网络架构下的结构普遍性。

ABSTRACT

In a neural network (NN), *weight matrices* linearly transform inputs into *preactivations* that are then transformed nonlinearly into *activations*. A typical NN interleaves multitudes of such linear and nonlinear transforms to express complex functions. Thus, the (pre-)activations depend on the weights in an intricate manner. We show that, surprisingly, (pre-)activations of a randomly initialized NN become *independent* from the weights as the NN's widths tend to infinity, in the sense of asymptotic freeness in random matrix theory. We call this the Free Independence Principle (FIP), which has these consequences: 1) It rigorously justifies the calculation of asymptotic Jacobian singular value distribution of an NN in Pennington et al. [36,37], essential for training ultra-deep NNs [48]. 2) It gives a new justification of gradient independence assumption used for calculating the Neural Tangent Kernel of a neural network. FIP and these results hold for any neural architecture. We show FIP by proving a Master Theorem for any Tensor Program, as introduced in Yang [50,51], generalizing the Master Theorems proved in those works. As warmup demonstrations of this new Master Theorem, we give new proofs of the semicircle and Marchenko-Pastur laws, which benchmarks our framework against these fundamental mathematical results.

研究动机与目标

• 为广泛用于分析神经网络雅可比行列式奇异值分布的自由独立性假设建立严格的理论基础。
• 将随机矩阵理论的技术推广至经典方法失效的非线性深度学习场景。
• 证明自由独立性特性在所有神经网络架构中普遍成立，而不仅限于特定架构。
• 开发一种新的张量程序主定理，以系统化分析宽深层神经网络中的渐近行为。
• 为所提出的框架提供经典随机矩阵定律（半圆律与 Marchenko-Pastur 律）的新严格证明，作为基准验证。

提出的方法

• 提出一种新的张量程序主定理，推广早期结果，使复杂非线性组合在神经网络中的渐近分析成为可能。
• 采用对向量集（M）的递归归纳框架，追踪矩阵变换下矩收敛性与正交性特征。
• 应用伪-Lipschitz 函数与高斯条件化技术，处理权重矩阵与预激活值之间的非线性依赖。
• 通过将矩阵积分解为高斯分量与线性分量，证明残差项的矩趋于零。
• 引入“矩趋于零”与“正交系统”概念，形式化高维极限下的渐近独立性。
• 利用大数强大数律与集中度不等式，建立矩统计量的几乎必然收敛。

实验结果

研究问题

• RQ1 在无限宽极限下，权重与预激活值之间的自由独立性假设是否在所有神经网络架构中普遍成立？
• RQ2 能否通过统一框架在非线性神经网络中严格重新推导出经典的随机矩阵定律（如半圆律与 Marchenko-Pastur 律）？
• RQ3 经典随机矩阵理论中的展开技术是否适用于分析非线性神经网络的雅可比行列式？
• RQ4 在宽网络中，预激活值渐近地与权重矩阵自由独立的数学条件是什么？
• RQ5 能否为张量程序形式化一个通用主定理，以捕捉任意神经网络架构的渐近行为？

主要发现

• 自由独立性原理（FIP）被严格证明：在随机初始化的宽深层神经网络中，预激活值在自由概率论的意义下，渐近地与权重矩阵自由独立。
• FIP 为先前用于雅可比行列式奇异值分布计算中所采用的自由独立性假设提供了理论支持，而这些计算对实现超深层网络的动力学等距性至关重要。
• 所提出的张量程序主定理成功将半圆律与 Marchenko-Pastur 律作为特例重现，验证了该框架与随机矩阵理论中基本结果的一致性。
• 该框架建立了结构普遍性：FIP 对任何神经网络架构均成立，无论其深度、宽度或激活函数如何。
• 该方法证明了由非线性变换（如 ReLU、tanh）引起的残差项在无限宽极限下具有趋于零的矩，从而支持渐近独立性。
• 分析表明，涉及非线性依赖矩阵（如深层网络的雅可比行列式）的矩阵积可被分解为具有趋于零矩的分量，从而实现严格的渐近分析。