[论文解读] Unitary Evolution Recurrent Neural Networks

Martín Arjovsky, Amar Shah+1 more|arXiv (Cornell University)|Nov 20, 2015

Neural Networks and Applications参考文献 13被引用 222

一句话总结

本文提出单位正则循环神经网络（uRNNs），通过在复数域中对单位矩阵进行结构化组合，实现了一种新颖的单位矩阵参数化方法，以稳定梯度并实现长期依赖关系的学习。该模型通过高效计算实现了在需要长上下文推理的任务上的最先进性能，优于LSTM和正交初始化的RNN。

ABSTRACT

Recurrent neural networks (RNNs) are notoriously difficult to train. When the eigenvalues of the hidden to hidden weight matrix deviate from absolute value 1, optimization becomes difficult due to the well studied issue of vanishing and exploding gradients, especially when trying to learn long-term dependencies. To circumvent this problem, we propose a new architecture that learns a unitary weight matrix, with eigenvalues of absolute value exactly 1. The challenge we address is that of parametrizing unitary matrices in a way that does not require expensive computations (such as eigendecomposition) after each weight update. We construct an expressive unitary weight matrix by composing several structured matrices that act as building blocks with parameters to be learned. Optimization with this parameterization becomes feasible only when considering hidden states in the complex domain. We demonstrate the potential of this architecture by achieving state of the art results in several hard tasks involving very long-term dependencies.

研究动机与目标

• 解决循环神经网络（RNNs）中阻碍长期依赖学习的梯度消失和梯度爆炸问题。
• 开发一种避免每次权重更新后进行昂贵特征分解的单位矩阵高效参数化方法。
• 通过将隐藏状态到隐藏状态的权重矩阵约束为单位矩阵（特征值模长为1），实现长序列中的稳定梯度传播。
• 探索复数域循环网络在优化性能和表征能力方面的优势。
• 证明uRNN在学习长期依赖关系方面比LSTM和正交初始化RNN更有效。

提出的方法

• 提出将单位矩阵参数化为结构化可学习矩阵（如对角矩阵、置换矩阵和旋转矩阵）的组合，以在无需特征分解的情况下保证单位性。
• 使用复数域的隐藏状态和参数，以实现单位矩阵的有效优化，这在实数域中难以实现。
• 采用矩阵分解方法，其中每个分量矩阵的参数化计算复杂度为O(n log n)，内存占用为O(n)，不同于一般矩阵所需的O(n²)操作。
• 应用链式法则反向传播梯度，利用单位矩阵的逆为其共轭转置的性质，实现高效的反向传播过程。
• 在Theano中通过将复数矩阵表示为实数的2n×2n块，实现基于实数的反向传播，从而支持标准优化方法。
• 实现一种可微分的、参数化的单位矩阵构造方法，在训练过程中通过约束参数更新保持单位性。

实验结果

研究问题

• RQ1 能否构建一种单位矩阵的参数化方法，在训练过程中避免昂贵的特征分解，同时保持单位性？
• RQ2 在RNN中使用单位权重矩阵是否能显著改善与标准RNN和LSTM相比的长序列梯度流动？
• RQ3 复数域循环网络是否能在学习长期依赖关系方面优于实数域对应模型？
• RQ4 在处理极长序列时，uRNN与LSTM相比在隐藏状态饱和方面避免程度如何？
• RQ5 uRNN是否能在需要对极长序列进行推理的任务上实现最先进性能？

主要发现

• uRNN在长序列中保持了稳定的梯度范数，衰减极小，而LSTM和标准RNN表现出指数级梯度消失。
• 经过100次训练迭代后，uRNN的梯度衰减仍显著低于其他模型，表明其具有更优的梯度流动能力。
• uRNN不会出现隐藏状态饱和：其隐藏状态范数随时间持续增长，而LSTM在约500个时间步后即趋于平台期。
• 在T=750的加法问题中，LSTM输出与第一个输入的皮尔逊相关系数ρ=0.991，表明其仅存储了第一个值，未能有效整合第二个输入。
• uRNN在涉及长期依赖的困难任务上实现了最先进性能，优于LSTM和正交初始化RNN。
• 该模型可通过单位矩阵的逆重新计算隐藏状态，从而实现潜在的内存压缩，避免在反向传播过程中存储所有隐藏状态。