[论文解读] On the Convergence Rate of Training Recurrent Neural Networks

Zeyuan Allen-Zhu, Yuanzhi Li+1 more|arXiv (Cornell University)|Oct 29, 2018

Advanced Neural Network Applications参考文献 66被引用 47

一句话总结

本文证明，在过参数化的条件下，梯度下降和随机梯度下降能够训练带有 ReLU 的 Elman RNN，使训练误差接近于零，并为多层网络提供新的分析工具。

ABSTRACT

How can local-search methods such as stochastic gradient descent (SGD) avoid bad local minima in training multi-layer neural networks? Why can they fit random labels even given non-convex and non-smooth architectures? Most existing theory only covers networks with one hidden layer, so can we go deeper? In this paper, we focus on recurrent neural networks (RNNs) which are multi-layer networks widely used in natural language processing. They are harder to analyze than feedforward neural networks, because the $ extit{same}$ recurrent unit is repeatedly applied across the entire time horizon of length $L$, which is analogous to feedforward networks of depth $L$. We show when the number of neurons is sufficiently large, meaning polynomial in the training data size and in $L$, then SGD is capable of minimizing the regression loss in the linear convergence rate. This gives theoretical evidence of how RNNs can memorize data. More importantly, in this paper we build general toolkits to analyze multi-layer networks with ReLU activations. For instance, we prove why ReLU activations can prevent exponential gradient explosion or vanishing, and build a perturbation theory to analyze first-order approximation of multi-layer networks.

研究动机与目标

• 理解为何 ReLU 能稳定训练，避免 RNN 中梯度消失/梯度爆炸。
• 证明在非退化数据上，RNNs 可以高效地训练到接近零的训练误差。
• 为带 ReLU 激活的多层网络开发通用分析工具包。
• 在温和假设下，演示对深层 RNNs 及相关损失函数的扩展。
• 阐明过参数化如何使 SGD 避免多层架构中的坏局部极小值。

提出的方法

• 分析带 ReLU 激活的经典 Elman RNN，并在 A,B 随机初始化时训练隐藏权重 W。
• 证明 GD/SGD 在从随机高斯初始化开始的情况下，达到 f(W) ≤ ε，迭代次数为 T = poly(n,d,L,δ^{-1}, log(1/ε))。
• 引入 Polyak-Łojasiewicz 型梯度下界（定理3）和半光滑性性质（定理4），用于刻画一阶行为。
• 开发前向/反向传播分析，利用过参数化和诱导的随机性来控制梯度增长，避免跨越 L 层的指数级爆炸。
• 在对抗性扰动下给出鲁棒性结果，并讨论对深层 RNNs 及其他 Lipschitz-smooth 损失的扩展。

实验结果

研究问题

• RQ1 ReLU 激活是否能稳定循环神经网络的训练，避免在较长时间尺度上出现梯度消失/梯度爆炸？
• RQ2 在温和假设下，是否可以使用基于梯度的方法高效地将多层 RNNs 训练到接近零的训练误差？
• RQ3 过参数化如何影响多层 RNNs 的收敛性以及对坏局部极小值的规避？
• RQ4 是否可以将结果扩展到深层 RNNs 及其他 Lipschitz-smooth 损失函数？

主要发现

• 在过参数化条件下，GD 和 SGD 收敛到 ε 训练误差，迭代次数为 T = poly(n,d,L,δ^{-1}) · log(1/ε)。
• 尽管存在非凸性和多层结构，收敛速率在 log(1/ε) 上本质上呈线性。
• 一对技术结果（梯度下界和半光滑性）支撑收敛，抑制伪局部极小值。
• ReLU 激活有助于防止跨越 L 层的梯度指数级爆炸或消失。
• 即使仅训练隐藏权重 W 而 A,B 随机初始化，结果仍成立；数据在各层之间的可分性在网络中保持。