[论文解读] On Random Matrices Arising in Deep Neural Networks. Gaussian Case

L. А. Pastur|arXiv (Cornell University)|Jan 17, 2020

Statistical Mechanics and Entropy参考文献 26被引用 19

一句话总结

本文利用随机矩阵理论，分析了具有随机高斯权重和偏置的深度神经网络中输入-输出雅可比矩阵的奇异值分布。在大宽度渐近下，证明了归一化特征值计数测度几乎必然收敛到一个确定性极限，从而为在非标准设定下应用自由概率理论提供了理论依据，该设定中总体协方差矩阵依赖于数据矩阵。

ABSTRACT

The paper deals with distribution of singular values of product of random matrices arising in the analysis of deep neural networks. The matrices resemble the product analogs of the sample covariance matrices, however, an important difference is that the population covariance matrices, which are assumed to be non-random in the standard setting of statistics and random matrix theory, are now random, moreover, are certain functions of random data matrices. The problem has been considered in recent work [21] by using the techniques of free probability theory. Since, however, free probability theory deals with population matrices which are independent of the data matrices, its applicability in this case requires an additional justification. We present this justification by using a version of the standard techniques of random matrix theory under the assumption that the entries of data matrices are independent Gaussian random variables. In the subsequent paper [18] we extend our results to the case where the entries of data matrices are just independent identically distributed random variables with several finite moments. This, in particular, extends the property of the so-called macroscopic universality on the considered random matrices.

研究动机与目标

• 理解具有随机高斯权重和偏置的深度神经网络中输入-输出雅可比矩阵奇异值的渐近分布。
• 在总体协方差矩阵为随机函数且依赖于数据矩阵的非标准设定下，为自由概率理论的应用提供理论依据。
• 在网络宽度趋于无穷时，建立雅可比矩阵格拉姆矩阵的归一化特征值计数测度几乎必然收敛到确定性极限的结论。
• 为在独立同分布高斯权重和偏置假设下，随机深度神经网络中宏观普适性的严格理论基础提供支持。

提出的方法

• 将输入-输出雅可比矩阵建模为一系列具有独立同分布高斯元素的随机矩阵的乘积，其缩放因子为各层宽度平方根的倒数。
• 定义格拉姆矩阵 $ M_{\mathbf{n}_L}^L = J_{\mathbf{n}_L}^L (J_{\mathbf{n}_L}^L)^T $，其特征值决定了雅可比矩阵的奇异值。
• 在独立同分布高斯元素的假设下，应用标准随机矩阵理论技术，推导出极限谱分布。
• 使用斯蒂尔杰斯变换方法，并求解涉及极限谱测度斯蒂尔杰斯变换的一组耦合方程。
• 证明了复上半平面及负实轴上，斯蒂尔杰斯变换方程组具有唯一解。
• 建立了极限归一化计数测度 $ \nu_{M^L} $ 在层宽 $ n_l \to \infty $ 时的存在性与几乎必然收敛性。

实验结果

研究问题

• RQ1 在具有随机高斯权重和偏置的深度神经网络中，输入-输出雅可比矩阵奇异值的极限分布是什么？
• RQ2 当总体协方差矩阵是数据矩阵的随机函数时，能否严格应用自由概率理论？
• RQ3 在大宽度渐近下，雅可比矩阵格拉姆矩阵的极限谱分布是否几乎必然收敛？
• RQ4 宏观普适性在谱分布中的表现，如何推广到此非独立同分布总体协方差设定下？

主要发现

• 当 $ \mathbf{n}_L \to \infty $ 时，雅可比矩阵格拉姆矩阵的归一化特征值计数测度 $ \nu_{M_{\mathbf{n}_L}^L} $ 几乎必然收敛到一个确定性极限 $ \nu_{M^L} $。
• 极限谱测度 $ \nu_{M^L} $ 由一组涉及权重矩阵和偏置矩阵极限测度斯蒂尔杰斯变换的方程系统所刻画。
• 斯蒂尔杰斯变换方程组在复上半平面及负实轴上具有唯一解，从而保证了极限的存在性。
• 将斯蒂尔杰斯变换映射的雅可比矩阵可逆，这确保了解的唯一性以及极限测度的稳定性。
• 该证明依赖于高斯假设，以在总体矩阵不独立于数据矩阵的设定下，合理应用自由概率理论。
• 该结果为在独立同分布高斯权重和偏置假设下，随机深度神经网络中宏观普适性提供了严格的理论基础。