[论文解读] Non-normal Recurrent Neural Network (nnRNN): learning long time dependencies while improving expressivity with transient dynamics

Giancarlo Kerg, Kyle Goyette+5 more|PolyPublie (École Polytechnique de Montréal)|May 28, 2019

Neural Networks and Applications参考文献 27被引用 19

一句话总结

本文提出 nnRNN，一种新型循环神经网络架构，通过引入非正则动力学提升表达能力，同时保持正交 RNN 的稳定梯度流动。通过利用 Schur 分解将循环权重矩阵的正则与非正则分量分离，nnRNN 在不牺牲训练稳定性或速度的前提下，实现了对复杂序列计算至关重要的瞬态动力学，从而在需要持续计算的任务上优于正交 RNN。

ABSTRACT

A recent strategy to circumvent the exploding and vanishing gradient problem in RNNs, and to allow the stable propagation of signals over long time scales, is to constrain recurrent connectivity matrices to be orthogonal or unitary. This ensures eigenvalues with unit norm and thus stable dynamics and training. However this comes at the cost of reduced expressivity due to the limited variety of orthogonal transformations. We propose a novel connectivity structure based on the Schur decomposition and a splitting of the Schur form into normal and non-normal parts. This allows to parametrize matrices with unit-norm eigenspectra without orthogonality constraints on eigenbases. The resulting architecture ensures access to a larger space of spectrally constrained matrices, of which orthogonal matrices are a subset. This crucial difference retains the stability advantages and training speed of orthogonal RNNs while enhancing expressivity, especially on tasks that require computations over ongoing input sequences.

研究动机与目标

• 解决正交 RNN 表达能力受限的问题，尽管其梯度流动稳定，但网络仅能作用于正交特征空间。
• 克服循环网络中长期依赖学习稳定性与计算表达能力之间的权衡。
• 开发一种可训练的 RNN 架构，保留正交矩阵的谱稳定性，同时允许非正交特征基以实现瞬态动力学。
• 实现对特征值模长与非正则性的显式控制，以平衡梯度稳定性和计算灵活性。
• 证明在训练过程中非正则连接会自然涌现，并提升需要对序列进行在线计算的任务性能。

提出的方法

• 使用 Schur 分解将循环权重矩阵参数化为一个酉矩阵与一个上三角矩阵的乘积，从而分离正则（对角）与非正则（非对角）分量。
• 在不显式计算完整 Schur 分解的前提下，将权重矩阵分解为正则与非正则部分，实现高效优化。
• 对正则部分施加独立正则化（以保持单位特征值模长），对非正则部分施加正则化（以控制瞬态动力学）。
• 在分解后的组件上使用标准优化算法，保持正交 RNN 的训练速度与稳定性。
• 引入参数 γ 以正则化平均特征值模长，允许适度偏离单位模长，从而在梯度稳定性与表达能力之间实现可控平衡。
• 使用标准反向传播训练网络，同时对正则与非正则组件施加约束，使非正则结构在学习过程中动态涌现。

实验结果

研究问题

• RQ1 我们能否在不损害正交 RNN 学习长期依赖能力的前提下，提升其表达能力？
• RQ2 由非正则连接所支持的瞬态动力学，在需要持续序列计算的任务中，能在多大程度上提升性能？
• RQ3 我们能否在允许非正交特征基的同时，保持正交 RNN 的训练稳定性和速度？
• RQ4 正则与非正则分量之间的平衡如何影响梯度传播与模型性能？
• RQ5 所提出的架构是否能在需要此类能力的任务中自然学习到非正则动力学？与正交 RNN 相比表现如何？

主要发现

• 在复制任务等对长期记忆至关重要的任务上，nnRNN 的性能与最先进正交 RNN 相当，同时保持相似的训练速度。
• 在需要对序列进行在线计算的任务（如 PTB 语言建模任务）上，由于非正则连接的涌现，nnRNN 表现优于正交 RNN。
• 在 PTB 任务上，训练后的 nnRNN 矩阵平均特征值模长约为 0.958，表明其以受控方式偏离单位模长，从而支持瞬态动力学。
• 在复制任务中，矩阵几乎保持正则，平均特征值模长接近 1.0，证实非正则性仅在需要时才出现。
• 引入非正则分量使模型表达能力提升，可访问超出正交矩阵的更大谱约束矩阵空间。
• 对 γ（特征值模长）的正则化与对非正则部分的权重衰减相结合，带来最稳定的训练与最佳性能，证明了稳定性与表达能力之间平衡的重要性。