[论文解读] Overcoming the vanishing gradient problem in plain recurrent networks

Yuhuang Hu, Adrian E. G. Huber+2 more|arXiv (Cornell University)|Jan 18, 2018

Topic Modeling参考文献 26被引用 83

一句话总结

论文引入 Recurrent Identity Networks (RINs)，一种无门控的普通 RNN 变体，具有不可训练的身份代理记忆，缓解梯度消失并实现快速训练，在长序列任务上与 IRNNs 和 LSTMs 具有竞争力的结果。

ABSTRACT

Plain recurrent networks greatly suffer from the vanishing gradient problem while Gated Neural Networks (GNNs) such as Long-short Term Memory (LSTM) and Gated Recurrent Unit (GRU) deliver promising results in many sequence learning tasks through sophisticated network designs. This paper shows how we can address this problem in a plain recurrent network by analyzing the gating mechanisms in GNNs. We propose a novel network called the Recurrent Identity Network (RIN) which allows a plain recurrent network to overcome the vanishing gradient problem while training very deep models without the use of gates. We compare this model with IRNNs and LSTMs on multiple sequence modeling benchmarks. The RINs demonstrate competitive performance and converge faster in all tasks. Notably, small RIN models produce 12%--67% higher accuracy on the Sequential and Permuted MNIST datasets and reach state-of-the-art performance on the bAbI question answering dataset.

研究动机与目标

• 激发对简单递归网络中梯度消失及门控架构（LSTM/GRU）局限性的研究。
• 探究是否可以通过利用不同的记忆机制让简单的 RNN 克服梯度消失。
• 提出并形式化 Recurrent Identity Network (RIN) 作为一个无门控模型，具备替代记忆。
• 在长距离序列任务（adding problem、MNIST 变体、bAbI）上对比评估 RIN 与 IRNN 及 LSTM，以评估收敛性与性能。

提出的方法

• 采用对 RNN 的 Iterative Estimation 解释来分析信息流与身份映射。
• 分析 GNNs 中的双门设计，并展示进位门如何实现类似身份的行为，能够在无门控的情况下进行仿真。
• 提出 RIN，更新式为 h_t = ReLU(Wx_t + Uh_{t-1} + h_{t-1} + b) = ReLU(Wx_t + (U + I)h_{t-1} + b)。
• 引入一个不可训练的单位矩阵作为替代记忆，用于在步骤之间保持过去的表示。
• 讨论与 Differential State Framework (DSF) 的联系，以及 RIN 如何在 ReLU 激活下支持稳定的梯度传播。

实验结果

研究问题

• RQ1 在不使用门控机制的情况下，使用 ReLU 训练的简单循环网络是否能缓解梯度消失？
• RQ2 引入不可训练的单位矩阵分量是否能保持过去的表示并实现长距离依赖建模？
• RQ3 在像 adding problems、Sequential/Permuted MNIST 以及 bAbI 任务这样的长序列任务上，RIN 相对于 IRNN 和 LSTM 的表现如何？

主要发现

• RINs 在早期训练阶段比 IRNNs 和 LSTMs 更快收敛，适用于各种任务。
• 在某些配置下，小型 RIN 在 Sequential 和 Permuted MNIST 上的准确率比 IRNNs 和 LSTMs 高出 12%–67%。
• 在所报道的设置中，RIN 达到 bAbI 问答数据集的最先进性能。
• 在报道的实验中，LSTMs 在 MNIST 任务上的表现通常不如 RINs 和 IRNNs。
• RINs 展现出与基于门控的模型相当的性能，同时采用无门控设计和简单的替代记忆。