[论文解读] VarNet: Variational Neural Networks for the Solution of Partial Differential Equations

Reza Khodayi-mehr, Michael M. Zavlanos|arXiv (Cornell University)|Dec 16, 2019

Model Reduction and Neural Networks参考文献 38被引用 31

一句话总结

VarNet 提出了一种变分神经网络框架，通过基于偏微分方程（PDE）积分（变分）形式的新型无离散化损失函数，用于求解偏微分方程。通过利用低阶导数和基于PDE残差引导的自适应采样，VarNet 在更少的训练点下实现了高精度、平滑且可微分的解，同时具备优异的并行化能力，从而实现了高效的模型降阶，并可直接用于优化与控制应用。

ABSTRACT

In this paper we propose a new model-based unsupervised learning method, called VarNet, for the solution of partial differential equations (PDEs) using deep neural networks (NNs). Particularly, we propose a novel loss function that relies on the variational (integral) form of PDEs as apposed to their differential form which is commonly used in the literature. Our loss function is discretization-free, highly parallelizable, and more effective in capturing the solution of PDEs since it employs lower-order derivatives and trains over measure non-zero regions of space-time. Given this loss function, we also propose an approach to optimally select the space-time samples, used to train the NN, that is based on the feedback provided from the PDE residual. The models obtained using VarNet are smooth and do not require interpolation. They are also easily differentiable and can directly be used for control and optimization of PDEs. Finally, VarNet can straight-forwardly incorporate parametric PDE models making it a natural tool for model order reduction (MOR) of PDEs. We demonstrate the performance of our method through extensive numerical experiments for the advection-diffusion PDE as an important case-study.

研究动机与目标

• 开发一种基于模型的无监督深度学习框架，用于求解PDE，无需依赖标注数据或传统数值离散化方法。
• 克服标准PDE-NN方法中使用微分形式损失函数的局限性，这些方法需要高阶导数，且在稀疏数据上泛化能力差。
• 通过将参数直接嵌入神经网络输入，实现对参数化PDE的高效且准确求解，促进模型降阶（MOR）。
• 设计一种主动采样策略，根据PDE残差反馈自适应选择时空训练点，提升学习效率。

提出的方法

• 提出一种基于变分（积分）形式的损失函数，利用低阶导数，并在时空区域上积分，而非逐点残差计算。
• 使用神经网络在全域上近似PDE解，作为连续、平滑且可微分的函数。
• 引入一种主动学习策略，根据PDE残差的大小选择训练样本，聚焦于解最不准确的区域。
• 采用有限元风格的形状函数与高斯-勒让德积分法，高效计算立方体单元上变分形式的数值积分。
• 通过坐标变换从数学空间到物理空间的雅可比矩阵，利用链式法则推导神经网络输出的梯度。
• 通过将参数作为网络输入，实现PDE的直接参数化求解，支持快速评估与模型降阶。

实验结果

研究问题

• RQ1 与标准基于残差的微分形式损失相比，是否可以利用PDE的变分形式定义更有效且更稳定的损失函数，以训练神经网络求解PDE？
• RQ2 如何通过基于PDE残差反馈的主动采样策略，提升在极少数训练点下的神经网络训练效率与精度？
• RQ3 该方法训练出的神经网络在保持高精度的同时，其解在多大程度上能实现平滑、可微分，并适用于PDE约束的优化与控制任务？
• RQ4 所提出的框架是否可自然扩展至参数化PDE，实现无需牺牲精度的快速降阶建模？

主要发现

• 变分损失函数通过使用低阶导数并在区域上积分，而非逐点评估，显著提升了解的精度。
• 由于基于PDE残差反馈的自适应采样，该方法在更少的训练点下实现了高精度。
• VarNet生成的解具有平滑性、可微性，且无需插值，可直接用于优化与控制任务。
• 通过将参数作为网络输入，该框架实现了对参数化PDE的高效模型降阶，大幅降低了计算成本。
• 在对流-扩散PDE的数值实验中，VarNet在收敛速度与解精度方面均优于标准基于残差的方法。
• 采用基于有限元的形状函数与高斯-勒让德积分法，确保了高精度的数值积分，且计算开销低。