[论文解读] Quantifying the vanishing gradient and long distance dependency problem in recursive neural networks and recursive LSTMs

Phong Ba Le, Willem Zuidema|arXiv (Cornell University)|Mar 1, 2016

Topic Modeling参考文献 10被引用 13

一句话总结

本文通过一个受控的人工任务，研究了递归神经网络（RNNs）和递归LSTM（RLSTMs）中的梯度消失与长距离依赖问题。通过在解析树中不同深度生成带标签关键词的合成句子，作者表明，RLSTMs在捕捉长程依赖和传递误差信号方面显著优于RNNs，梯度比值显示即使在深度达13时仍能实现稳定的反向传播。

ABSTRACT

Recursive neural networks (RNN) and their recently proposed extension recursive long short term memory networks (RLSTM) are models that compute representations for sentences, by recursively combining word embeddings according to an externally provided parse tree. Both models thus, unlike recurrent networks, explicitly make use of the hierarchical structure of a sentence. In this paper, we demonstrate that RNNs nevertheless suffer from the vanishing gradient and long distance dependency problem, and that RLSTMs greatly improve over RNN's on these problems. We present an artificial learning task that allows us to quantify the severity of these problems for both models. We further show that a ratio of gradients (at the root node and a focal leaf node) is highly indicative of the success of backpropagation at optimizing the relevant weights low in the tree. This paper thus provides an explanation for existing, superior results of RLSTMs on tasks such as sentiment analysis, and suggests that the benefits of including hierarchical structure and of including LSTM-style gating are complementary.

研究动机与目标

• 探究递归LSTM（RLSTMs）是否比标准递归神经网络（RNNs）更有效地克服梯度消失与长距离依赖问题。
• 分离并量化层次结构与LSTM门控对梯度流动与依赖捕捉的影响。
• 设计一个受控的人工学习任务，以实现对不同树深度与关键词位置下模型性能的精确测量。
• 利用关键词节点与根节点之间的梯度范数比值作为诊断工具，分析反向传播的误差信号强度。
• 通过系统分析梯度动态，解释RLSTMs在情感分析等NLP任务中经验优越性的原因。

提出的方法

• 设计了一项人工任务，其中句子由整数序列构成，其中一个关键词（值 < 1000）决定标签（关键词 // 100），且解析树为二叉树并随机生成。
• 采用受控深度的二叉树结构，以调节关键词叶节点与根节点之间的距离，从而实现对长程依赖问题的系统性评估。
• 实现RNN与RLSTM模型，词向量与记忆向量维度均为50，激活函数为tanh，权重采用Xavier初始化。
• 使用AdaGrad优化器，学习率设为0.05，小批量大小分别为20（RNN）与5（RLSTM），在10个数据集上评估性能，关键词深度逐步增加。
• 在反向传播过程中计算关键词节点与根节点的梯度范数比值，以量化信号强度并检测梯度消失或爆炸现象。
• 使用箱线图与折线图可视化模型准确率及梯度比值随训练轮次与树深度增加的趋势。

实验结果

研究问题

• RQ1 在树深度不断增加的情况下，RLSTM模型是否比RNN更有效地缓解梯度消失问题？
• RQ2 当关键词位于树的深层时，RLSTM是否比RNN更可靠地捕捉长程依赖？
• RQ3 关键词节点与根节点之间的梯度范数比值是否可作为层次模型中反向传播有效性的可靠指标？
• RQ4 层次结构与LSTM门控在多大程度上协同提升了对需要长距离信息传递任务的性能？
• RQ5 由于梯度持续消失，RNN的性能是否在深度增加时显著下降，即使经过长时间训练也难以恢复？

主要发现

• 当关键词位于深度3以内时，RNN模型准确率高达90%以上，但在深度9–10时性能急剧下降至接近随机水平（约10%），表明存在严重的长程依赖失败。
• RLSTM在深度8以内保持测试准确率高于90%，即使在深度12和13时仍显著高于随机基线（10%），证明其具备强大的长程依赖捕捉能力。
• 梯度比值分析显示，RNN存在严重的梯度消失现象，深度10–13时比值持续低于0.01，表明误差信号传输极差。
• 相比之下，RLSTM表现出稳定的梯度比值，即使在深度13时仍保持在0.1以上，且早期训练阶段出现初始梯度爆炸后迅速稳定，表明误差信号传播有效。
• RLSTM的梯度比值与其准确率发展同步稳定，表明模型随时间学习到增强关键词与根节点之间连接的能力。
• 关键词节点与根节点之间的梯度范数比值是反向传播成功性的强诊断指标，比值低于0.01表示梯度消失，高于1则表示梯度爆炸。