[论文解读] Recurrent Neural Networks in the Eye of Differential Equations

Murphy Yuezhen Niu, Lior Horesh+1 more|arXiv (Cornell University)|Apr 29, 2019

Model Reduction and Neural Networks参考文献 8被引用 23

一句话总结

本文建立了循环神经网络（RNNs）与常微分方程（ODEs）数值积分方法之间的精确数学对应关系，特别将RNN架构与龙格-库塔方法联系起来。文中引入了ODERNNs——通过ODE积分阶段和阶数参数化的RNN，实现了稳定、内存高效的RNN系统化设计，其中以QUNN为例，将训练参数量从与记忆长度呈多项式关系降低为线性关系。

ABSTRACT

To understand the fundamental trade-offs between training stability, temporal dynamics and architectural complexity of recurrent neural networks~(RNNs), we directly analyze RNN architectures using numerical methods of ordinary differential equations~(ODEs). We define a general family of RNNs--the ODERNNs--by relating the composition rules of RNNs to integration methods of ODEs at discrete time steps. We show that the degree of RNN's functional nonlinearity $n$ and the range of its temporal memory $t$ can be mapped to the corresponding stage of Runge-Kutta recursion and the order of time-derivative of the ODEs. We prove that popular RNN architectures, such as LSTM and URNN, fit into different orders of $n$-$t$-ODERNNs. This exact correspondence between RNN and ODE helps us to establish the sufficient conditions for RNN training stability and facilitates more flexible top-down designs of new RNN architectures using large varieties of toolboxes from numerical integration of ODEs. We provide such an example: Quantum-inspired Universal computing Neural Network~(QUNN), which reduces the required number of training parameters from polynomial in both data length and temporal memory length to only linear in temporal memory length.

研究动机与目标

• 揭示RNN中训练稳定性、时间动态与架构复杂性之间的根本权衡。
• 建立RNN组合规则与数值ODE积分方法（特别是龙格-库塔格式）之间的严格映射。
• 为利用先进数值积分工具箱设计新型RNN架构提供理论基础。
• 证明基于ODE理论推导出的稳定性条件可直接应用于RNN。
• 开发一种新型架构（QUNN），将参数对时间记忆长度的依赖关系从多项式降低为线性。

提出的方法

• 通过将RNN的递推规则映射到离散ODE积分方法，定义一类广义RNN家族，称为ODERNNs。
• 将RNN中的函数非线性度$ n $与时间记忆范围$ t $映射为龙格-库塔方法的阶段数与阶数。
• 证明标准RNN如LSTM和URNN对应于$ n $–$ t $–ODERNNs的特定阶数。
• 基于ODE稳定性理论与权矩阵的谱分析，推导出保证RNN训练稳定性的充分条件。
• 通过利用ODE积分框架，构建一种新架构——基于量子启发的通用计算神经网络（QUNN）。
• 利用ODE-RNN对应关系，实现对非线性度与记忆深度可控的RNN自上而下的架构设计。

实验结果

研究问题

• RQ1 RNN架构如何能系统性地与ODE的数值积分方法关联？
• RQ2 RNN的函数非线性度与记忆深度，与龙格-库塔方法的阶段数与阶数之间存在何种精确对应关系？
• RQ3 能否将ODE理论中的稳定性条件迁移，以保证RNN的训练稳定性？
• RQ4 ODE-RNN对应关系如何促进设计出参数更少、效率更高的RNN架构？
• RQ5 在多大程度上可复用现有ODE数值积分工具箱，以构建新颖且稳定的RNN？

主要发现

• 本文建立了RNN架构与龙格-库塔积分方法之间的一一对应关系，其中方法的阶段数对应于函数非线性度$ n $，阶数对应于时间记忆深度$ t $。
• LSTM与URNN被证明属于$ n $–$ t $–ODERNNs的特定类别，为理解其动态行为提供了统一框架。
• 基于权矩阵谱分析，推导出保证RNN训练稳定性的充分条件，其形式与ODE求解器的稳定性准则类似。
• ODE-RNN对应关系使得可利用高级ODE积分技术（如自适应或高阶方法）设计新架构。
• 所提出的QUNN架构实现了参数量与时间记忆长度的线性缩放，将参数量从多项式降低为线性，理论分析已验证其有效性。
• 该理论框架具有普适性，适用于任何通过ODE积分方法设计的RNN，为未来架构设计提供了广泛基础。