[论文解读] UnICORNN: A recurrent model for learning very long time dependencies

T. Konstantin Rusch, Siddhartha Mishra|arXiv (Cornell University)|Mar 9, 2021

Model Reduction and Neural Networks参考文献 51被引用 11

一句话总结

UnICORNN 提出了一种基于二阶常微分方程哈密顿系统结构保持时间离散化的新型循环神经网络架构，实现了对梯度的严格边界约束，从而缓解了梯度消失和梯度爆炸问题。该模型在长序列任务上取得了最先进性能，具备时间可逆性、内存效率高，并在多个基准测试中表现出强鲁棒性，且在重训练实验中方差极低。

ABSTRACT

The design of recurrent neural networks (RNNs) to accurately process sequential inputs with long-time dependencies is very challenging on account of the exploding and vanishing gradient problem. To overcome this, we propose a novel RNN architecture which is based on a structure preserving discretization of a Hamiltonian system of second-order ordinary differential equations that models networks of oscillators. The resulting RNN is fast, invertible (in time), memory efficient and we derive rigorous bounds on the hidden state gradients to prove the mitigation of the exploding and vanishing gradient problem. A suite of experiments are presented to demonstrate that the proposed RNN provides state of the art performance on a variety of learning tasks with (very) long-time dependencies.

研究动机与目标

• 解决处理极长序列依赖关系的RNN中存在的梯度消失和梯度爆炸问题（VEGP）。
• 设计一种内存效率高、计算快速且时间可逆的循环架构。
• 利用哈密顿动力学推导隐藏状态梯度的严格边界，确保长序列训练的稳定性。
• 在长期依赖任务上超越现有RNN模型，同时保持模型表达能力与鲁棒性。

提出的方法

• 该模型源自描述耦合振子的二阶常微分方程系统，隐藏状态通过哈密顿动力系统演化。
• 采用辛积分器对常微分方程系统进行离散化，以保持哈密顿结构并确保梯度稳定性。
• 架构采用时间依赖的哈密顿函数，其中包含激活函数（tanh）和可学习权重。
• 通过哈密顿系统中的能量守恒机制确保梯度有界，防止其指数级增长或衰减。
• 引入残差连接以稳定深层多层UnICORNN，并提升深度增加时的性能。
• 采用多尺度时间步长向量以增强表征能力，消融实验验证了其关键作用。

实验结果

研究问题

• RQ1 基于哈密顿机制的RNN架构能否为隐藏状态梯度提供严格边界，从而缓解梯度消失和梯度爆炸问题？
• RQ2 对二阶常微分方程系统的结构保持离散化是否能带来内存效率高、时间可逆且计算快速的RNN？
• RQ3 与SOTA RNN如LSTM和coRNN相比，UnICORNN在长序列任务上的表现如何？
• RQ4 残差连接和多尺度时间步长对深层UnICORNN训练稳定性与性能有何影响？
• RQ5 UnICORNN能否在多种长序列任务上实现稳健泛化，并在不同随机权重初始化下保持低方差？

主要发现

• UnICORNN在psMNIST、噪声填充的CIFAR-10和IMDB情感分类任务上均取得最先进性能，测试准确率分别为：psMNIST（256个单元）98.2%，CIFAR-10为61.5%，IMDB为88.1%。
• 模型表现出高度鲁棒性，10次重训练的准确率标准差极低（如psMNIST中256个单元时为0.22%），表明学习过程稳定。
• 残差连接显著提升了深层UnICORNN的性能，res-UnICORNN在CIFAR-10任务中对更深架构（L=5,6）的表现优于标准UnICORNN。
• 多尺度时间步长向量至关重要：移除后性能显著下降，证实其在增强表征能力方面的作用。
• 训练过程中权重范数保持有界，验证了理论梯度边界，确认了架构的稳定性。
• 如预期，UnICORNN在混沌时间序列预测任务（如F=8）上表现失败，因其并非为建模混沌动力学而设计，而LSTM则具备此类能力。