[论文解读] Universal Differential Equations for Scientific Machine Learning

Christopher Rackauckas, Yingbo Ma+7 more|arXiv (Cornell University)|Jan 13, 2020

Model Reduction and Neural Networks被引用 69

一句话总结

在 SciML 生态系统中引入通用微分方程（UDEs），以将物理知识与数据驱动学习融合，实现在高效训练和从符号回归到高维 PDE 的广泛应用。

ABSTRACT

In the context of science, the well-known adage "a picture is worth a thousand words" might well be "a model is worth a thousand datasets." In this manuscript we introduce the SciML software ecosystem as a tool for mixing the information of physical laws and scientific models with data-driven machine learning approaches. We describe a mathematical object, which we denote universal differential equations (UDEs), as the unifying framework connecting the ecosystem. We show how a wide variety of applications, from automatically discovering biological mechanisms to solving high-dimensional Hamilton-Jacobi-Bellman equations, can be phrased and efficiently handled through the UDE formalism and its tooling. We demonstrate the generality of the software tooling to handle stochasticity, delays, and implicit constraints. This funnels the wide variety of SciML applications into a core set of training mechanisms which are highly optimized, stabilized for stiff equations, and compatible with distributed parallelism and GPU accelerators.

研究动机与目标

• 促使将力学物理模型与数据驱动学习相结合，以提高数据效率和预测能力。
• 将 UDE 形式化引入为将微分方程与通用近似器之间的统一框架。
• 展示 SciML 工具如何实现高效训练、伴随法以及跨多类问题的可扩展计算。
• 展示多种应用，包括模型发现、高维 PDE 和学习的闭合关系。
• 强调 SciML 生态系统在科学机器学习中的性能、稳定性和灵活性优势。

提出的方法

• 将通用微分方程（UDEs）定义为嵌入通用近似器（例如神经网络）以捕捉未知动态的微分方程。
• 描述 SciML 堆栈：DifferentialEquations.jl、DiffEqSensitivity.jl 和 DiffEqFlux.jl，以实现高效求解、伴随法和神经网络集成。
• 解释对偶灵敏度分析（连续与离散）及其在基于梯度的 UDE 训练中的作用。
• 展示如何将符号回归和数据驱动学习与 UDE 结合，进行知识增强的模型发现（例如类似 SINDy 的方法）。
• 演示构建用于随机延迟、微分代数方程（DAEs）和高维 PDE 的 UDE，并用具体用例（Lotka-Volterra、Fisher-KPP、Boussinesq 闭合、在 100 维的 HJB）加以说明。

实验结果

研究问题

• RQ1 一个统一的 UDE 框架如何将物理定律与数据驱动组件整合，以实现稳健的科学学习？
• RQ2 在刚性、随机和延迟系统中，哪些对偶/灵敏度策略最能实现对 UDE 的稳定、可扩展训练？
• RQ3 通过注入领域知识，UDE 是否能提升符号回归和模型发现从而降低数据需求？
• RQ4 如何将 UDE 应用于高维 PDE 和复杂多物理场问题（例如 Boussinesq、FENE-P），以实现加速和准确性？
• RQ5 在一系列问题类别中，SciML 生态系统相较于现有 ML-DE 库的实际性能优势有哪些？

主要发现

• SciML 生态系统支持刚性 ODE/DAE、SDE、DDE，并在分布式和 GPU 加速计算中实现了稳定的伴随法。
• 在 DifferentialEquations.jl、DiffEqSensitivity.jl 和 DiffEqFlux.jl 内的基于对偶的训练，使大规模 UDEs 的梯度计算高效，通常优于同类库。
• 通过 UDEs 的知识增强符号回归提高数据效率和恢复底层方程的能力（如 Lotka–Volterra），相较于标准 SINDy 方法。
• 高维 PDE 可被建模为 USDEs 或 UPDEs， enabling 自适应、高阶且稳定的解，过去传统方法难以实现。
• 通过 UDEs 学习的自动闭合关系显著加速仿真（例如在某些基于 Boussinesq 的情境中约 15,000x 加速并改善非牛顿流体的非线性闭合）。
• SciML 工具包相较于某些 ML-DE 基线在代表性科学系统上可带来显著的性能提升（数量级或以上）。