[论文解读] Solving multiscale dynamical systems by deep learning

Junjie Yao, Yuxiao Yi+6 more|arXiv (Cornell University)|Jan 2, 2024

Advanced Mathematical Modeling in Engineering被引用 4

一句话总结

本文提出DeePODE，一种结合蒙特卡洛采样与常微分方程（ODE）驱动演化的深度学习方法，可高效生成高维多尺度动力系统具有代表性的训练数据。通过利用刚性ODE的内在动力学特性，DeePODE克服了维度灾难问题，使深度神经网络能够泛化应用于湍流火焰和电池点火等复杂系统，相较于传统求解器实现了数量级的加速，同时保持高精度。

ABSTRACT

Multiscale dynamical systems, modeled by high-dimensional stiff ordinary differential equations (ODEs) with wide-ranging characteristic timescales, arise across diverse fields of science and engineering, but their numerical solvers often encounter severe efficiency bottlenecks. This paper introduces a novel DeePODE method, which consists of an Evolutionary Monte Carlo Sampling method (EMCS) and an efficient end-to-end deep neural network (DNN) to predict multiscale dynamical systems. We validate this finding across dynamical systems from ecological systems to reactive flows, including a predator-prey model, a power system oscillation, a battery electrolyte thermal runaway, and turbulent reaction-diffusion systems with complex chemical kinetics. The method demonstrates robust generalization capabilities, allowing pre-trained DNN models to accurately predict the behavior in previously unseen scenarios, largely due to the delicately constructed dataset. While theoretical guarantees remain to be established, empirical evidence shows that DeePODE achieves the accuracy of implicit numerical schemes while maintaining the computational efficiency of explicit schemes. This work underscores the crucial relationship between training data distribution and neural network generalization performance. This work demonstrates the potential of deep learning approaches in modeling complex dynamical systems across scientific and engineering domains.

研究动机与目标

• 解决在科学与工程领域中，具有广泛时间尺度差异的高维刚性ODE模拟所面临的计算瓶颈问题。
• 克服在训练数据生成过程中，多尺度系统深度神经网络（DNN）代理模型所面临的维度灾难问题。
• 开发一种可泛化的DNN代理模型，使其在未见初始条件及复杂时空动力学下仍保持高精度。
• 利用深度学习实现对多尺度系统（如湍流火焰与电力系统振荡）的高效、稳定且精确的模拟。
• 证明将系统动力学嵌入采样过程可显著提升数据效率与模型泛化能力。

提出的方法

• DeePODE采用全局多尺度采样策略，结合蒙特卡洛采样与短时ODE积分，以增强样本的动力学信息。
• 每个随机采样的初始状态通过控制ODE进行短时间演化，使样本集中于慢变动力区域，提升数据代表性。
• 通过利用ODE的内在演化特性，自适应捕捉局部系统特征，降低高维空间中的采样低效性。
• 在演化后的样本集上训练深度神经网络，以学习状态转移函数，从而实现对未来状态的快速预测。
• 该方法通过ODE演化生成具有多尺度感知能力的信息性训练数据，避免了对大量轨迹数据的依赖。
• 该方法与现有求解器（如CVODE、Cantera）结合使用，用于替代特定区域（尤其是需要高分辨率的区域）中的反应速率计算。

Figure 1: Schematic diagram of the DeePODE method. (A) Flowchart of DeePODE method. After obtaining a manifold dataset and an MC dataset, each point of the MC dataset is taken as the initial condition of a corresponding dynamical system. Sample along the evolution trajectory of MC data sparsely and

实验结果

研究问题

• RQ1 基于ODE演化样本训练的深度学习代理模型，能否在高维多尺度系统中泛化至不同初始条件与复杂动力学状态？
• RQ2 如何设计采样策略以在保留高维相空间中多尺度信息的同时，克服维度灾难问题？
• RQ3 基于0D与1D数据训练的DNN代理模型，能在多大程度上准确预测2D与3D湍流燃烧动力学？
• RQ4 与标准蒙特卡洛或均匀采样相比，将ODE演化整合到采样流程中，能否显著提升数据效率与模型精度？
• RQ5 在湍流火焰与电池电解质点火等复杂系统中，与传统ODE求解器相比，DeePODE的计算性能提升程度如何？

主要发现

• DeePODE仅使用0D与1D数据训练的DNN代理模型，即可实现对湍流火焰的精确模拟，其在2D与3D域中的预测结果与CVODE结果高度一致。
• 该方法在Sandia Flame D模拟中实现了稳定且精确的预测，温度、O₂、CO₂与速度的径向分布曲线与CVODE及实验数据高度吻合。
• 对于DRM19系统，DeePODE以高保真度捕捉了1.5 ms时球形火焰的温度分布，其结果与CVODE相当。
• 通过GPU加速，反应速率计算速度提升了一个数量级以上，对于GRI与正庚烷等大型机理系统，速度提升超过两个数量级。
• 该方法在未见条件（如湍流燃烧与复杂化学动力学）下表现出强大的泛化能力，无需重新训练。
• ODE演化采样策略有效将样本集中于低动态区域，提升了数据效率，并减轻了高维空间中浓度集中现象的影响。

Figure 2: Two-dimensional predator-prey model. DNN prediction and direct integration results for $x_{1}$ from the initial value $x_{1}=3$ , $x_{2}=2$ . MC and MF represent Monte Carlo and manifold sampling methods, respectively.