[论文解读] Tractable Dendritic RNNs for Reconstructing Nonlinear Dynamical Systems

Manuel Brenner, Florian Heß+5 more|arXiv (Cornell University)|Jul 6, 2022

Model Reduction and Neural Networks被引用 6

一句话总结

本文提出了一种可解析的树突RNN，通过引入线性样条基展开，增强了分段线性RNN（PLRNN），以更精确、更低维地重建非线性动力系统。通过利用树突计算原理，该模型在使用更少参数和维度的同时，实现了更优的重建性能，并保持了对固定点、极限环和稳定性分析的解析可处理性，优于标准PLRNN及其他方法在基准系统上的表现。

ABSTRACT

In many scientific disciplines, we are interested in inferring the nonlinear dynamical system underlying a set of observed time series, a challenging task in the face of chaotic behavior and noise. Previous deep learning approaches toward this goal often suffered from a lack of interpretability and tractability. In particular, the high-dimensional latent spaces often required for a faithful embedding, even when the underlying dynamics lives on a lower-dimensional manifold, can hamper theoretical analysis. Motivated by the emerging principles of dendritic computation, we augment a dynamically interpretable and mathematically tractable piecewise-linear (PL) recurrent neural network (RNN) by a linear spline basis expansion. We show that this approach retains all the theoretically appealing properties of the simple PLRNN, yet boosts its capacity for approximating arbitrary nonlinear dynamical systems in comparatively low dimensions. We employ two frameworks for training the system, one combining back-propagation-through-time (BPTT) with teacher forcing, and another based on fast and scalable variational inference. We show that the dendritically expanded PLRNN achieves better reconstructions with fewer parameters and dimensions on various dynamical systems benchmarks and compares favorably to other methods, while retaining a tractable and interpretable structure.

研究动机与目标

• 解决从噪声高维时间序列数据中重建非线性动力系统的挑战。
• 在不增加潜在空间维度的前提下，提升数学上可解析的PLRNN的表达能力。
• 将树突计算的生物学原理融入深度学习架构，以提升可解释性与性能。
• 实现在增强模型中对固定点、周期轨道等动力学性质的解析计算。
• 与现有方法相比，展示出在更少参数和更低维潜在空间下更高的重建精度。

提出的方法

• 在每个潜在单元上引入线性样条基展开，扩展分段线性RNN（PLRNN），模拟神经元中的树突分支。
• 将每个潜在单元的激活表示为多个基于ReLU的子单元的组合，每个子单元具有不同的阈值和权重，形成分段线性逼近。
• 将增强模型重写为具有分支间共享权重的更大常规PLRNN，保持解析可处理性。
• 采用两种训练框架：使用教师强制的反向传播时间（BPTT）和基于序列变分自编码器（SVAE）的可扩展变分推断。
• 通过数学证明表明，增强模型中固定点、周期轨道及稳定性特性仍可进行解析计算。
• 应用延迟嵌入和状态空间重构技术，以处理部分观测或噪声时间序列。

实验结果

研究问题

• RQ1 RNN中类似树突的非线性预处理是否能显著提升非线性动力系统重建的准确性？
• RQ2 尽管表达能力增强，该模型是否仍能保持对固定点和稳定性等动力学特性的解析可处理性？
• RQ3 该模型是否能在参数更少、潜在空间维度更低的情况下，优于标准PLRNN或其他深度学习基线模型？
• RQ4 样条基展开与PLRNN结构的结合，在重建混沌系统方面，相较于标准RNN或SINDy类方法表现如何？
• RQ5 该模型在增强复杂高维动力系统逼近能力的同时，能在多大程度上保持可解释性？

主要发现

• 树突PLRNN在基准非线性动力系统（包括Lorenz和Rössler等混沌系统）上的重建性能优于标准PLRNN及其他深度学习基线模型。
• 该模型以显著更少的参数和更低维的潜在空间重建复杂动力，展现出更高的样本效率。
• 增强模型中固定点、周期轨道及其稳定性的解析计算仍可行，保持了理论可访问性。
• 该模型在重建具有指数或三角函数动态的系统时，即使这些动态被多项式类模型近似，也优于标准PLRNN。
• 通过变分推断（SVAE）训练可实现可扩展、高效的训练，尤其适用于长序列或噪声时间序列。
• 理论分析证明，在权矩阵的谱范数满足特定条件时，轨迹有界，从而保证动力系统稳定。