[论文解读] On Neural Differential Equations

Patrick Kidger|arXiv (Cornell University)|Feb 4, 2022

Computational Physics and Python Applications被引用 120

一句话总结

一份全面的博士论文，综述神经微分方程（NDEs），包括神经 ODEs、神经 CDEs 和神经 SDEs，涵盖理论、架构、数值方法和应用。

ABSTRACT

The conjoining of dynamical systems and deep learning has become a topic of great interest. In particular, neural differential equations (NDEs) demonstrate that neural networks and differential equation are two sides of the same coin. Traditional parameterised differential equations are a special case. Many popular neural network architectures, such as residual networks and recurrent networks, are discretisations. NDEs are suitable for tackling generative problems, dynamical systems, and time series (particularly in physics, finance, ...) and are thus of interest to both modern machine learning and traditional mathematical modelling. NDEs offer high-capacity function approximation, strong priors on model space, the ability to handle irregular data, memory efficiency, and a wealth of available theory on both sides. This doctoral thesis provides an in-depth survey of the field. Topics include: neural ordinary differential equations (e.g. for hybrid neural/mechanistic modelling of physical systems); neural controlled differential equations (e.g. for learning functions of irregular time series); and neural stochastic differential equations (e.g. to produce generative models capable of representing complex stochastic dynamics, or sampling from complex high-dimensional distributions). Further topics include: numerical methods for NDEs (e.g. reversible differential equations solvers, backpropagation through differential equations, Brownian reconstruction); symbolic regression for dynamical systems (e.g. via regularised evolution); and deep implicit models (e.g. deep equilibrium models, differentiable optimisation). We anticipate this thesis will be of interest to anyone interested in the marriage of deep learning with dynamical systems, and hope it will provide a useful reference for the current state of the art.

研究动机与目标

• 提供对神经微分方程及其在将动态系统与深度学习结合中的作用的深入综述。
• 解释神经 ODEs、神经 CDEs、神经 SDEs 的设置、优势和典型架构。
• 综述数值方法、对微分方程进行反向传播，以及相关的隐式模型。
• 讨论在时间序列、物理建模和生成建模中的应用，并提供实用工具。
• 强调 NDE 领域的局限性和未来方向。

提出的方法

• 将神经微分方程定义为在向量场 fθ 中由神经网络参数化的微分方程。
• 将神经 ODEs、神经 CDEs 和神经 SDEs 作为核心模型，并讨论它们的存在、训练和评估。
• 描述对神经 ODEs 和 CDEs 的扩增、非自治性和插值策略。
• 详述数值求解器、对 ODEs/CDEs/SDEs 的反向传播，以及可逆求解器与超求解器。
• 讨论对扩增模型与未扩增模型的通用近似性结果以及 CDEs 的不变量。
• 概述实际的软件工具（例如 Diffrax、torchdiffeq、torchcde、torchsde）和实验设置。

实验结果

研究问题

• RQ1 神经微分方程相对于传统模型在理论和实践上有哪些优势？
• RQ2 神经 ODEs、神经 CDEs、神经 SDEs 在形式、训练和应用上有何不同？
• RQ3 哪些数值方法和反向传播策略对训练 NDEs 有效？
• RQ4 在数据需求和速度方面，NDEs 的局限性与权衡是什么？

主要发现

• NDEs 将神经网络与微分方程建模结合起来，实现了连续深度结构和对不规则数据的处理。
• 扩增的神经 ODEs 即使在其基础向量场并非通用近似器时也能实现通用近似。
• 神经 CDEs 为不规则时间序列提供通用近似，并与 RNN 的离散化相关。
• 神经 SDEs 能实现生成建模并对复杂的随机动态进行采样，具备多种训练标准（如基于 GAN 的方法和潜在 SDEs）。
• 通过优化的反向传播策略和可逆求解器，可以实现对 NDEs 的高效且精确的梯度。