[论文解读] Random Walk Initialization for Training Very Deep Feedforward Networks

David Sussillo, L. F. Abbott|arXiv (Cornell University)|Dec 19, 2014

Stochastic Gradient Optimization Techniques参考文献 7被引用 70

一句话总结

本文提出随机游走初始化（RW-I），一种用于极深前馈网络的新颖权重初始化方法，通过确保反向传播误差梯度的对数范数执行无偏随机游走，从而稳定梯度流动。通过解析推导最优缩放因子 $ g $，该方法使梯度范数波动仅随深度的平方根增长，从而实现了在 MNIST 和 TIMIT 数据集上成功训练高达 1000 层的网络，且训练误差接近零。

ABSTRACT

Training very deep networks is an important open problem in machine learning. One of many difficulties is that the norm of the back-propagated error gradient can grow or decay exponentially. Here we show that training very deep feed-forward networks (FFNs) is not as difficult as previously thought. Unlike when back-propagation is applied to a recurrent network, application to an FFN amounts to multiplying the error gradient by a different random matrix at each layer. We show that the successive application of correctly scaled random matrices to an initial vector results in a random walk of the log of the norm of the resulting vectors, and we compute the scaling that makes this walk unbiased. The variance of the random walk grows only linearly with network depth and is inversely proportional to the size of each layer. Practically, this implies a gradient whose log-norm scales with the square root of the network depth and shows that the vanishing gradient problem can be mitigated by increasing the width of the layers. Mathematical analyses and experimental results using stochastic gradient descent to optimize tasks related to the MNIST and TIMIT datasets are provided to support these claims. Equations for the optimal matrix scaling are provided for the linear and ReLU cases.

研究动机与目标

• 为解决极深前馈网络（FFNs）中的梯度消失问题，该问题传统上阻碍了超过几十层的网络训练。
• 分析在反向传播过程中，随机权重矩阵的连续应用如何影响 FFNs 中梯度范数的演化，与循环网络进行对比。
• 推导一种有原则的初始化方法——随机游走初始化，确保梯度的对数范数执行无偏随机游走，从而最小化梯度的指数衰减或爆炸。
• 通过随机梯度下降在真实数据集（MNIST、TIMIT）上实证验证该方法，证明了训练极深网络的可行性。

提出的方法

• 提出一种随机矩阵模型，其中每一层应用一个独立同分布的高斯权重矩阵，方差为 $ 1/N $，并由因子 $ g $ 缩放，以模拟梯度反向传播的动力学。
• 分析误差梯度向量对数范数作为随机游走的演化过程，通过平衡增长与衰减速率，推导出无偏游走的条件。
• 推导最优 $ g $ 的解析表达式：ReLU 网络为 $ g = \sqrt{2 / (1 + \text{var}(f'(a)))} $，线性网络为 $ g = \sqrt{2 / \text{tr}(\mathbf{W}^T \mathbf{W})} $，以确保梯度范数的稳定缩放。
• 使用固定参数范围的随机梯度下降法训练不同深度（最高达 1000 层）的网络，采用理论推导出的 $ g $ 值。
• 使用训练误差与深度的对数线性图，可视化不同超参数（如 $ \lambda_{in} $、$ \lambda_{out} $ 和 $ g $）下的梯度稳定性和性能。
• 在分类任务（MNIST）和自编码器任务（MNIST、TIMIT）上验证该方法，当 $ g $ 正确设置时，表现出跨深度的一致性能。

实验结果

研究问题

• RQ1 在极深前馈网络中，梯度范数是否像在循环网络中那样随深度呈指数级增长或衰减？
• RQ2 能否通过控制随机权重矩阵的缩放，稳定极深前馈网络中的反向传播梯度范数？
• RQ3 使对数梯度范数执行无偏随机游走的最优缩放因子 $ g $ 是什么，从而最小化深度增加带来的方差增长？
• RQ4 能否使用该初始化方案成功训练极深前馈网络（例如 1000 层）在真实世界数据集上的网络？

主要发现

• 当适当选择权重缩放因子 $ g $ 时，极深前馈网络中反向传播误差梯度的对数范数执行无偏随机游走，其方差随深度线性增长，且与层宽 $ N $ 成反比。
• 梯度范数随网络深度的平方根增长，而非指数增长，这意味着在正确初始化的极深 FFN 中，梯度消失问题得到显著缓解。
• 对于 ReLU 网络，最优 $ g $ 为 $ \sqrt{2 / (1 + \text{var}(f'(a)))} $，当初始化时 $ f'(a) = 1 $，该值简化为 $ \sqrt{2} $，从而确保无偏随机游走行为。
• 在 1000 层 MNIST 网络上的实验中，使用随机游走初始化的训练误差约为 50 个错误，证明了训练如此深度网络的可行性。
• 在 TIMIT 数据集上，最佳性能出现在深度 16，深度 32 几乎并列，表明增加深度无明显优势，但通过正确初始化仍可成功训练。
• 即使在使用一阶优化（SGD）时，该方法依然有效，但在极深网络（如 1000 层）中，学习率调度和曲率问题变得至关重要，需采用 $ g > 1 $ 以稳定训练。