[论文解读] Recurrent Highway Networks

Julian Zilly, Rupesh K. Srivastava+2 more|arXiv (Cornell University)|Jul 12, 2016

Natural Language Processing Techniques参考文献 32被引用 86

一句话总结

本文提出了循环高速公路网络（RHNs），一种新型的RNN架构，通过在循环转移中堆叠高速公路层，将循环深度增加到超过1层，从而实现更深层次、更强大的序列建模。基于盖尔恰戈林圆定理的理论分析表明，RHNs能够缓解梯度消失/爆炸问题，并取得最先进性能：在Penn Treebank数据集上，当循环深度从1增加到10时，困惑度从90.6降至65.4，且参数量保持不变；在enwik8数据集上，RHNs实现了1.27比特/字符的性能，优于先前方法。

ABSTRACT

Many sequential processing tasks require complex nonlinear transition functions from one step to the next. However, recurrent neural networks with 'deep' transition functions remain difficult to train, even when using Long Short-Term Memory (LSTM) networks. We introduce a novel theoretical analysis of recurrent networks based on Gersgorin's circle theorem that illuminates several modeling and optimization issues and improves our understanding of the LSTM cell. Based on this analysis we propose Recurrent Highway Networks, which extend the LSTM architecture to allow step-to-step transition depths larger than one. Several language modeling experiments demonstrate that the proposed architecture results in powerful and efficient models. On the Penn Treebank corpus, solely increasing the transition depth from 1 to 10 improves word-level perplexity from 90.6 to 65.4 using the same number of parameters. On the larger Wikipedia datasets for character prediction (text8 and enwik8), RHNs outperform all previous results and achieve an entropy of 1.27 bits per character.

研究动机与目标

• 为解决在时间和空间上存在长信用分配路径的深度循环网络训练挑战。
• 改进现有RNN架构（如LSTM和堆叠RNN），这些架构在增加深度时难以避免梯度消失/爆炸问题。
• 提出一种理论基础扎实的方法，以增加循环深度，从而提升建模能力，同时保持训练稳定性。
• 证明通过高速公路层实现更深的循环转移可显著提升标准语言建模基准上的性能。

提出的方法

• 提出循环高速公路网络（RHNs），通过用高速公路层堆叠替代LSTM架构中的单个循环转移，实现循环深度大于1。
• 应用盖尔恰戈林圆定理分析RNN中的梯度流动，揭示门控机制如何控制误差反向传播，以及为何高速公路连接能稳定训练。
• 使用可学习的变换门和传递门的高速公路层，实现在每个时间步进行多层非线性变换的自适应、动态计算。
• 采用层归一化（LN）以稳定训练并提升泛化能力，尤其在深层循环转移中表现更优。
• 设计RHN架构，使每个时间步可执行多次非线性变换，有效增加循环路径的深度。
• 使用标准的时间反向传播算法进行网络优化，结合参数共享和dropout实现正则化。

实验结果

研究问题

• RQ1 是否可以通过将RNN中的循环深度增加到超过1层，显著提升其在序列任务上的建模能力和性能？
• RQ2 与标准RNN或堆叠RNN相比，循环转移中的高速公路层如何影响梯度流动和训练稳定性？
• RQ3 RHNs中改进的梯度动态行为的理论基础是什么？其与LSTM单元行为有何关联？
• RQ4 增加循环深度在Penn Treebank和enwik8等语言建模基准上能带来多大程度的性能提升？
• RQ5 循环转移中的各个高速公路层对整体网络性能有何贡献？

主要发现

• 在Penn Treebank数据集上，RHNs将循环深度从1增加到10，使用相同参数量，词级困惑度从90.6降至65.4。
• 在enwik8数据集上，RHNs实现了1.27比特/字符的测试集熵，优于所有先前方法。
• 在text8数据集上，RHNs以4500万参数规模实现了1.27比特/字符的测试集熵，创下新的最先进水平。
• 消融实验表明，循环转移中的第一层对性能贡献最大，但移除任意一层均会因循环结构而显著降低结果。
• RHNs在循环深度为10时，在enwik8上达到68.5 BPC，在Penn Treebank上达到65.4困惑度，优于变分LSTM和基于神经架构搜索的模型。
• 基于盖尔恰戈林圆定理的理论分析表明，高速公路层通过控制时间雅可比矩阵的谱半径来稳定梯度流动，解释了其在深度RNN中的成功。