[论文解读] Towards Non-saturating Recurrent Units for Modelling Long-term Dependencies

Sarath Chandar, Chinnadhurai Sankar+3 more|arXiv (Cornell University)|Jan 22, 2019

Advanced Neural Network Applications参考文献 31被引用 4

一句话总结

本文提出非饱和循环单元（NRU），一种新型循环架构，通过使用基于ReLU的非饱和组件替代饱和激活函数和门控机制，以改善梯度流动。NRU在长期依赖任务中达到最先进性能，在多个基准测试（包括打乱MNIST和记忆复制任务）中优于LSTM、GRU及其他RNN变体。

ABSTRACT

Modelling long-term dependencies is a challenge for recurrent neural networks. This is primarily due to the fact that gradients vanish during training, as the sequence length increases. Gradients can be attenuated by transition operators and are attenuated or dropped by activation functions. Canonical architectures like LSTM alleviate this issue by skipping information through a memory mechanism. We propose a new recurrent architecture (Non-saturating Recurrent Unit; NRU) that relies on a memory mechanism but forgoes both saturating activation functions and saturating gates, in order to further alleviate vanishing gradients. In a series of synthetic and real world tasks, we demonstrate that the proposed model is the only model that performs among the top 2 models across all tasks with and without long-term dependencies, when compared against a range of other architectures.

研究动机与目标

• 解决循环神经网络中阻碍长期依赖学习的梯度消失问题。
• 克服LSTM与GRU中饱和激活函数（如sigmoid、tanh）及饱和门控的局限性，这些机制会随时间衰减梯度。
• 设计一种新型循环单元架构，通过避免梯度饱和，实现在长序列中稳定的梯度流动。
• 证明非饱和组件在长期与短期依赖任务中均优于传统门控RNN。
• 通过引入非饱和、带记忆增强的架构，建立通用RNN在序列建模中的新基线。

提出的方法

• 提出一种新型循环单元（NRU），使用ReLU激活函数替代sigmoid或tanh等饱和非线性函数。
• 实现类似LSTM与GRU的加法记忆机制，使信息可绕过转换算子，减少梯度衰减。
• 用非饱和、可学习的门控机制替代饱和门控，避免在极端值处饱和，从而保持梯度幅值。
• 使用标准反向传播训练NRU，并配合梯度裁剪以防止梯度爆炸，同时依赖非饱和组件实现稳定训练。
• 采用结合输入与隐藏状态的内存状态更新规则，通过加法路径实现，类似GRU与LSTM，但使用非饱和非线性。
• 在合成任务（如记忆复制、序列MNIST）和真实世界基准上评估NRU，以比较梯度流动、收敛速度与准确率。

实验结果

研究问题

• RQ1 用非饱和替代品替代饱和激活函数与门控是否能改善循环网络中的梯度流动？
• RQ2 非饱和门控循环单元（NRU）是否在长期依赖任务中优于标准LSTM与GRU？
• RQ3 与其它RNN变体相比，NRU在长序列上的收敛速度与训练稳定性如何？
• RQ4 NRU能否在包括长期与短期依赖问题在内的多样化任务中保持高性能？
• RQ5 非饱和组件对循环网络中梯度范数与记忆保持的影响是什么？

主要发现

• 在打乱序列MNIST任务中，NRU取得了95.38%的最高测试准确率，优于所有其他模型，包括EURNN（94.50%）与GRU（92.39%）。
• NRU展现出更优的梯度流动，早期训练中梯度范数显著高于LSTM-Chrono与JANET，表明信号传播更佳。
• 该模型收敛速度更快且更稳定，尤其在较大内存尺寸（如144个单元）下，收敛速度接近64个单元时的两倍。
• NRU在长序列（T = 1000–2000）下仍保持稳定训练，即使出现梯度峰值也未出现发散，表明对长期依赖具有鲁棒性。
• 在序列长度递增的记忆复制任务中（T = 100, 200, 500），NRU表现出稳定训练与正确记忆保留，表明具备有效长期信息存储能力。
• NRU优于LSTM-chrono，后者未在标准LSTM基础上实现一致性能提升，表明当具备非饱和组件时，chrono初始化并不总能增强性能。