[论文解读] Short-term Memory of Deep RNN

Claudio Gallicchio|arXiv (Cornell University)|Feb 2, 2018

Neural Networks and Reservoir Computing参考文献 9被引用 8

一句话总结

本文研究了在储层计算框架下深度循环神经网络（RNNs）的短期记忆容量（MC），发现更高层在训练前即自然发展出更长的记忆跨度。通过使用具有受控谱半径的未训练深度RNN，研究揭示了更深的层表现出逐步提升的记忆容量，在ρ=0.9时第10层的记忆容量达到峰值50.1，表明分层结构天然地使网络倾向于长期记忆保持。

ABSTRACT

The extension of deep learning towards temporal data processing is gaining an increasing research interest. In this paper we investigate the properties of state dynamics developed in successive levels of deep recurrent neural networks (RNNs) in terms of short-term memory abilities. Our results reveal interesting insights that shed light on the nature of layering as a factor of RNN design. Noticeably, higher layers in a hierarchically organized RNN architecture results to be inherently biased towards longer memory spans even prior to training of the recurrent connections. Moreover, in the context of Reservoir Computing framework, our analysis also points out the benefit of a layered recurrent organization as an efficient approach to improve the memory skills of reservoir models.

研究动机与目标

• 分析训练前深度RNN中连续各层的内在短期记忆容量。
• 研究深度RNN中的分层结构如何影响隐藏状态的时间动态与记忆保持。
• 评估分层递归架构是否能在不增加输出训练成本的前提下，提升储层计算模型的记忆能力。
• 量化深度堆叠RNN中各层记忆跨度的多样化程度。

提出的方法

• 本研究采用具有从输入到高层级的分层状态转移的深度堆叠RNN架构。
• 每一层使用tanh激活函数，并通过随机权重初始化控制谱半径ρ和输入权重范数。
• 通过延迟任务计算记忆容量（MC），即每一层需在延迟k后重建过去的输入。
• 分析聚焦于未训练网络，权重在[-1,1]范围内均匀初始化，并重新缩放以控制ρ和||W||₂以保证稳定性。
• 针对每个ρ值（包括混沌区域），生成50个独立的网络实例，结果取平均。
• 分析遗忘曲线，以评估记忆保持随延迟k增加的衰减情况，特别关注第1层和第10层。

实验结果

研究问题

• RQ1 深度RNN架构的深度是否在未经任何训练的情况下，天然地使高层更偏向于更长的短期记忆跨度？
• RQ2 递归权重的谱半径ρ如何影响深度RNN中单个层的记忆容量？
• RQ3 与低层相比，深度RNN中的高层在多大程度上表现出多样化的记忆动力学？
• RQ4 分层递归架构是否能在不增加输出训练成本的前提下，提升储层计算模型的记忆性能？
• RQ5 在延迟依赖的记忆保持方面，遗忘曲线在各层之间如何变化？

主要发现

• 在未训练的深度RNN中，高层的短期记忆跨度显著长于低层，当ρ=0.9时，记忆容量从第一层的22.2提升至第10层的50.1。
• 记忆容量在ρ=0.9时达到峰值，表明在有序区域中，稳定性与记忆保持之间达到最佳平衡。
• 遗忘曲线显示，第10层在延迟60时仍能以非零回忆率保持信息，而第1层在延迟30时已失去大部分信息。
• 高层在记忆召回中表现出向右偏移的峰值和更平缓的衰减斜率，表明其遗忘过程比低层更缓慢。
• 分层架构实现了记忆跨度的自然多样化，低层捕捉近期输入，高层则在更长延迟下存储信息。
• 通过分层实现的记忆容量提升，计算成本极低，因为状态计算随深度线性增长，而输出训练成本保持不变。