[论文解读] Transformation of ReLU-based recurrent neural networks from discrete-time to continuous-time

Zahra Monfared, Daniel Durstewitz|arXiv (Cornell University)|Jul 1, 2020

Model Reduction and Neural Networks被引用 8

一句话总结

本文提出了一套数学框架，将基于ReLU的分段线性循环神经网络（PLRNNs）从离散时间递归映射转换为等价的连续时间常微分方程（ODEs）。通过在不同条件下证明三个定理——包括特征值等于1或由循环产生的复特征值的情况——该研究建立了连续时间ODE形式能保持原始离散系统的动力学特性，从而实现平滑插值、外推以及增强的理论分析，同时维持动力学等价性。

ABSTRACT

Recurrent neural networks (RNN) as used in machine learning are commonly formulated in discrete time, i.e. as recursive maps. This brings a lot of advantages for training models on data, e.g. for the purpose of time series prediction or dynamical systems identification, as powerful and efficient inference algorithms exist for discrete time systems and numerical integration of differential equations is not necessary. On the other hand, mathematical analysis of dynamical systems inferred from data is often more convenient and enables additional insights if these are formulated in continuous time, i.e. as systems of ordinary (or partial) differential equations (ODE). Here we show how to perform such a translation from discrete to continuous time for a particular class of ReLU-based RNN. We prove three theorems on the mathematical equivalence between the discrete and continuous time formulations under a variety of conditions, and illustrate how to use our mathematical results on different machine learning and nonlinear dynamical systems examples.

研究动机与目标

• 解决在科学建模中广泛应用的离散时间RNN与连续时间动力系统理论优势之间的差距。
• 开发一种数学上严谨的方法，将离散时间的基于ReLU的PLRNN转换为等价的连续时间ODE，而不改变其相空间动力学。
• 实现对推断动力系统的改进分析，包括分岔研究、时间尺度分离以及数据点之间的平滑插值。
• 在合成基准数据和真实世界fMRI数据上展示该方法的适用性，证明其动力学等价性保持良好。

提出的方法

• 通过构建一个在整数时间步与离散时间更新规则匹配的流场，推导出连续时间ODE。
• 采用带ReLU激活的分段线性动力学，以确保数学可处理性及通用逼近能力。
• 应用矩阵对数与特征值分析，将递推矩阵在可逆性和谱条件满足下转换为连续时间生成元。
• 使用定理1处理一般可逆矩阵，定理2处理特征值等于1的情况，定理3处理由循环产生的复特征值。
• 通过ODE的数值积分与多个示例中离散时间轨迹的对比，验证了等价性。
• 采用连续时间变换，实现在不规则采样数据（如fMRI扫描）上的高分辨率插值与外推。

实验结果

研究问题

• RQ1 能否将离散时间的基于ReLU的RNN在数学上转换为等价的连续时间ODE系统？
• RQ2 在何种条件下，连续时间ODE能保持原始离散时间系统的动力学？
• RQ3 该方法能否处理特征值等于1的情况，这类情况对长短期记忆任务至关重要？
• RQ4 该方法能否在真实世界时间序列数据（如fMRI信号）上产生平滑、高分辨率的插值与外推？
• RQ5 当离散系统表现出混沌行为或循环动力学时，该变换是否仍然有效？

主要发现

• 在多种条件下，包括系统矩阵可逆且无特征值等于1时，该变换在数学上等价于原始离散时间RNN。
• 该方法成功处理了特征值等于1的情况，这在建模长期依赖关系中至关重要，如在加法问题示例中所展示。
• 连续时间ODE形式准确再现了离散系统中观察到的混沌动力学，如图4中的数值模拟所证实。
• 在人类fMRI数据上，连续时间PLRNN实现了比原始3秒TR高10倍分辨率的平滑、高分辨率插值，与离散预测一致，同时支持连续外推。
• 该变换保持了相空间动力学，使得诸如流场可视化与时间尺度分离等理论分析成为可能，而这些在离散时间中难以实现。
• 该方法适用于真实世界数据，如在20通道、10个隐状态的多变量BOLD fMRI时间序列上成功应用所示。