[论文解读] Recurrent Orthogonal Networks and Long-Memory Tasks

Mikael Henaff, Arthur Szlam+1 more|arXiv (Cornell University)|Feb 22, 2016

Neural Networks and Applications被引用 61

一句话总结

本文为RNN中的两个基准长时记忆任务——序列复制和加法——提供了显式的解析解，表明正交或单位矩阵转移矩阵可实现稳定的长期信息保留。研究显示，随机正交初始化可有效学习复制任务，而单位矩阵初始化适用于加法任务，并引入了$l_2$池化机制，使单一架构同时具备两种能力。

ABSTRACT

Although RNNs have been shown to be powerful tools for processing sequential data, finding architectures or optimization strategies that allow them to model very long term dependencies is still an active area of research. In this work, we carefully analyze two synthetic datasets originally outlined in (Hochreiter and Schmidhuber, 1997) which are used to evaluate the ability of RNNs to store information over many time steps. We explicitly construct RNN solutions to these problems, and using these constructions, illuminate both the problems themselves and the way in which RNNs store different types of information in their hidden states. These constructions furthermore explain the success of recent methods that specify unitary initializations or constraints on the transition matrices.

研究动机与目标

• 通过合成基准任务，分析RNN中长期记忆的理论基础。
• 为复制任务和加法任务构建显式的RNN解，揭示隐藏状态如何在长序列中编码信息。
• 通过理论分析解释RNN中正交矩阵和酉矩阵约束在实践中取得成功的原因。
• 研究单一架构是否可通过$l_2$池化机制在不同长时记忆任务间实现泛化。
• 评估模型在合成基准任务与更复杂、可变长度任务之间的泛化性能。

提出的方法

• 通过构造一个$T+S$次单位根的转移矩阵（其特征值在单位圆上均匀分布），为复制任务构建显式RNN解。
• 通过使用单位矩阵作为转移矩阵，为加法任务构建显式解，实现稳定且无振荡的隐藏状态动态。
• 证明随机正交矩阵以高概率接近复制任务的理论解，而单位矩阵则接近加法任务的解。
• 引入应用于隐藏状态的$l_2$池化层，使网络能够在振荡性（正交）和稳态（单位型）动态之间切换。
• 通过在单位球面上随机采样点对$||V^T V - I||$进行梯度下降，训练过程中施加软正交约束，以保持近似正交性。
• 在固定长度和可变长度的复制与加法任务上评估模型，以检验泛化能力和鲁棒性。

实验结果

研究问题

• RQ1 RNN在何种精确数学条件下能够解决长期序列复制任务？
• RQ2 转移矩阵的选择（正交 vs. 单位）如何影响RNN在长时记忆任务中的优化过程与性能表现？
• RQ3 是否可通过$l_2$池化机制使单一RNN架构在加法与复制任务间实现泛化？
• RQ4 为何正交或酉矩阵约束能提升长时记忆任务的性能？其理论基础是什么？
• RQ5 在合成基准任务上的成功是否能泛化到更复杂、可变长度的任务中，还是仅限于特定任务？

主要发现

• 复制任务可通过转移矩阵为$T+S$次单位根且特征值在单位圆上均匀分布的RNN解决。
• 加法任务可通过使用单位转移矩阵的RNN解决，从而实现稳定且无振荡的隐藏状态动态。
• 随机正交初始化使模型以高概率接近复制任务的理论解，而单位初始化则使模型接近加法任务的理论解。
• 若颠倒初始化方式（如复制任务使用单位矩阵，加法任务使用正交矩阵），性能显著下降，表明初始化必须与任务的动力学模式相匹配。
• $l_2$池化机制使单一模型能够通过在振荡与稳态动态间切换，同时解决复制与加法任务。
• 在可变长度的复制任务中，标准LT-RNN无法超越随机基线，而LSTM表现良好，表明合成基准任务的性能可能无法泛化到更复杂、动态的任务中。