[论文解读] Spectrum concentration in deep residual learning: a free probability approach

Zenan Ling, Xing He+1 more|arXiv (Cornell University)|Jul 31, 2018

Statistical Mechanics and Entropy参考文献 27被引用 5

一句话总结

本文提出了一种基于自由概率的深度残差网络权重初始化分析，表明当网络深度 $L$ 增加时，初始权重方差必须按 $O(1/L)$ 的方式缩放，才能确保输入-输出雅可比矩阵的谱集中。通过分析非厄米随机矩阵的极限谱分布，作者推导出这种缩放方式可防止梯度消失或梯度爆炸，从而实现比经典初始化方法快几个数量级的训练速度。

ABSTRACT

We revisit the initialization of deep residual networks (ResNets) by introducing a novel analytical tool in free probability to the community of deep learning. This tool deals with non-Hermitian random matrices, rather than their conventional Hermitian counterparts in the literature. As a consequence, this new tool enables us to evaluate the singular value spectrum of the input-output Jacobian of a fully-connected deep ResNet for both linear and nonlinear cases. With the powerful tool of free probability, we conduct an asymptotic analysis of the spectrum on the single-layer case, and then extend this analysis to the multi-layer case of an arbitrary number of layers. In particular, we propose to rescale the classical random initialization by the number of residual units, so that the spectrum has the order of $O(1)$, when compared with the large width and depth of the network. We empirically demonstrate that the proposed initialization scheme learns at a speed of orders of magnitudes faster than the classical ones, and thus attests a strong practical relevance of this investigation.

研究动机与目标

• 为解决深度残差网络中有效权重初始化缺乏理论理解的问题。
• 探究为何经典初始化方法（如He初始化）在深层残差网络中仍无法防止雅可比矩阵病态化。
• 建立一个基于自由概率的理论框架，以分析深度残差网络中输入-输出雅可比矩阵的谱特性。
• 推导出一种与深度相关的初始化规则，以确保反向传播过程中梯度流动的稳定性。
• 通过实验验证 $\sigma_w^2 = O(1/L)$ 可使学习速度显著快于经典方法。

提出的方法

• 作者应用非厄米自由概率理论，分析深度全连接残差网络中输入-输出雅可比矩阵的极限谱分布。
• 在网络宽度 $N$ 和深度 $L$ 趋于无穷大的情况下，推导出雅可比矩阵 $\mathbf{J}\mathbf{J}^T$ 的渐近谱密度，涵盖线性和非线性情形。
• 分析聚焦于雅可比矩阵的奇异值平方，表明仅当 $\sigma_w^2 = O(1/L)$ 时，其值才保持为 $O(1)$，而不仅如经典初始化中所假设的 $O(1/N)$。
• 该方法从单层网络推广至多层网络，证明了 $O(1/L)$ 缩放在不同非线性激活函数和不同权重初始化类型下的普适性。
• 在CIFAR-10数据集上，通过全连接和卷积残差网络对框架进行了实验验证，采用不同方差的初始化设置。
• 作者对比了不同 $\sigma_w^2$ 设置下的学习动态，包括 $\sigma_w^2 = 1/\sqrt{L}$，并展示了其卓越的收敛速度。

实验结果

研究问题

• RQ1 为何经典权重初始化方法（如He初始化）在正确进行宽度缩放后，仍无法在深层残差网络中确保稳定的梯度流动？
• RQ2 为实现深度残差网络输入-输出雅可比矩阵的谱集中，权重方差 $\sigma_w^2$ 的必要且充分条件是什么？
• RQ3 残差网络的深度 $L$ 如何影响其输入-输出雅可比矩阵的谱特性？何种 $\sigma_w^2$ 缩放方式可确保奇异值平方为 $O(1)$？
• RQ4 自由概率理论能否为任意深度和宽度的深层残差网络中的雅可比谱提供严谨的渐近分析？
• RQ5 权重方差的 $O(1/L)$ 缩放是否在不同非线性激活函数和初始化方法（高斯、正交）下均具有普适有效性？

主要发现

• 仅当权重方差按 $\sigma_w^2 = O(1/L)$ 缩放时，输入-输出雅可比矩阵的奇异值平方才保持为 $O(1)$，从而确保谱集中；而不仅如经典初始化中所认为的 $O(1/N)$。
• $O(1/L)$ 缩放在包括 ReLU 在内的多种非线性激活函数中，对高斯和正交权重初始化均具有必要性和充分性，可实现谱集中。
• 实验结果表明，$\sigma_w^2 = 1/\sqrt{L}$ 可使训练速度比经典初始化快几个数量级，即使不使用批量归一化。
• 对于包含 $m > 1$ 层的残差单元，最优缩放变为 $\sigma_w^2 = O(L^{-1/m})$ 以维持全局雅可比矩阵的条件性，但这可能导致残差单元内部梯度消失。
• 全局雅可比矩阵条件性与残差单元内部梯度流动之间的权衡得到确认，极小的 $\sigma_w^2$ 会导致内部梯度消失。
• 基于自由概率的理论框架能准确预测有限 $N$ 和 $L$ 条件下深层残差网络中雅可比谱的实际行为，验证了其实际相关性。