[论文解读] Neural Galerkin Schemes with Active Learning for High-Dimensional Evolution Equations

Joan Bruna, Benjamin Peherstorfer+1 more|arXiv (Cornell University)|Mar 2, 2022

Model Reduction and Neural Networks参考文献 48被引用 6

一句话总结

本文提出一种神经Galerkin方法，结合深度学习与主动学习，用于求解高维演化方程，如Fokker-Planck方程和动力学方程。通过在时间上顺序最小化PDE残差，并根据解的动力学自适应采样数据，该方法在传统方法与标准深度学习求解器失效的高维场景下，实现了高精度的长时间模拟。

ABSTRACT

Deep neural networks have been shown to provide accurate function approximations in high dimensions. However, fitting network parameters requires informative training data that are often challenging to collect in science and engineering applications. This work proposes Neural Galerkin schemes based on deep learning that generate training data with active learning for numerically solving high-dimensional partial differential equations. Neural Galerkin schemes build on the Dirac-Frenkel variational principle to train networks by minimizing the residual sequentially over time, which enables adaptively collecting new training data in a self-informed manner that is guided by the dynamics described by the partial differential equations. This is in contrast to other machine learning methods that aim to fit network parameters globally in time without taking into account training data acquisition. Our finding is that the active form of gathering training data of the proposed Neural Galerkin schemes is key for numerically realizing the expressive power of networks in high dimensions. Numerical experiments demonstrate that Neural Galerkin schemes have the potential to enable simulating phenomena and processes with many variables for which traditional and other deep-learning-based solvers fail, especially when features of the solutions evolve locally such as in high-dimensional wave propagation problems and interacting particle systems described by Fokker-Planck and kinetic equations.

研究动机与目标

• 为使用深度神经网络求解高维偏微分方程（PDE）时面临的维度灾难问题提供解决方案。
• 克服物理信息神经网络与配点法中静态、非自适应数据采集的局限性。
• 开发一种时间积分格式，通过顺序演化神经网络参数，实现具有自适应数据获取的长时间模拟。
• 证明对残差误差的自适应采样对于捕捉高维解中局部、演化特征至关重要。
• 实现复杂系统（如相互作用粒子系统与动力学方程）的数值模拟，其中蒙特卡洛方法不适用。

提出的方法

• 该方法使用具有时间依赖参数的深度神经网络（DNN）表示PDE解，通过顺序时间积分而非全局优化来演化这些参数。
• 基于PDE残差推导出DNN参数的非线性演化方程，实现根据解平滑性自适应调整的时间步长。
• 通过采样估计残差，采用随解动态演化的自适应重要性采样，聚焦于高误差区域。
• 该方案采用响应非平稳与间歇性残差误差的动态采样策略，相比静态采样显著提升精度。
• 采用隐式时间积分（如隐式欧拉法）与随机梯度下降（SGD）在每个时间步使用采样数据更新网络参数。
• 该方法同时整合自适应函数逼近与自适应数据采集，利用PDE结构引导训练数据收集。

实验结果

研究问题

• RQ1 基于神经网络的时间积分器能否通过同时自适应调整参数与训练数据，在高维下实现高精度的长时间模拟？
• RQ2 在高维PDE中，对残差误差的自适应采样与静态或随机采样相比，在捕捉局部解特征方面表现如何？
• RQ3 在何种场景下，训练数据的主动学习相比全局配点法能显著提升基于深度学习的PDE求解器精度？
• RQ4 神经网络的何种结构特性可确保在PDE解中实现长时间区间内稳定且精确的参数演化？
• RQ5 神经Galerkin方法能否有效模拟相互作用粒子系统与动力学方程等系统，其中Feynman-Kac表示不可用？

主要发现

• 采用自适应采样的神经Galerkin方法在高维谐振势阱中对粒子位置的均值与协方差的相对误差保持在10⁻³至10⁻²之间，而静态采样则无法收敛。
• 该方法准确捕捉了粒子系统的熵演化，其结果与使用100,000个样本的基准蒙特卡洛模拟结果一致。
• 自适应采样至关重要：静态采样导致较大相对误差，尤其在高维中难以捕捉演化的解特征。
• 该方法实现了高维PDE（如Fokker-Planck方程与动力学方程）的稳定且高精度的长时间积分，而传统求解器与标准深度学习方法在此类问题上失效。
• 顺序参数更新与自适应数据采集使该方法能够利用时间平滑性，相比全局配点法减少采样低效性。
• 该方法在解特征局部演化时（如波传播与相互作用粒子系统）仍保持精度，通过动态聚焦采样于相关区域实现。