[论文解读] Physics Constrained Learning for Data-driven Inverse Modeling from Sparse Observations

Kailai Xu, Eric Darve|arXiv (Cornell University)|Feb 24, 2020

Model Reduction and Neural Networks参考文献 45被引用 22

一句话总结

该论文提出了一种物理约束学习框架，在深度神经网络训练过程中精确施加PDE约束，用于从稀疏观测中进行反向建模。通过在显式和隐式数值求解器中实现反向自动微分，该方法相比惩罚法在收敛速度和稳定性方面表现更优，尤其在刚性问题中优势显著。

ABSTRACT

Deep neural networks (DNN) have been used to model nonlinear relations between physical quantities. Those DNNs are embedded in physical systems described by partial differential equations (PDE) and trained by minimizing a loss function that measures the discrepancy between predictions and observations in some chosen norm. This loss function often includes the PDE constraints as a penalty term when only sparse observations are available. As a result, the PDE is only satisfied approximately by the solution. However, the penalty term typically slows down the convergence of the optimizer for stiff problems. We present a new approach that trains the embedded DNNs while numerically satisfying the PDE constraints. We develop an algorithm that enables differentiating both explicit and implicit numerical solvers in reverse-mode automatic differentiation. This allows the gradients of the DNNs and the PDE solvers to be computed in a unified framework. We demonstrate that our approach enjoys faster convergence and better stability in relatively stiff problems compared to the penalty method. Our approach allows for the potential to solve and accelerate a wide range of data-driven inverse modeling, where the physical constraints are described by PDEs and need to be satisfied accurately.

研究动机与目标

• 解决仅能测量部分物理系统输出时的稀疏观测反向建模挑战。
• 克服基于惩罚的方法仅近似满足PDE约束且在刚性问题中收敛缓慢的局限性。
• 开发一种统一框架，利用反向自动微分对深度神经网络和数值PDE求解器进行求导。
• 在训练过程中实现PDE约束的精确施加，以提高解的精度和优化稳定性。
• 实现复杂PDE控制物理系统高效且可扩展的数据驱动反向建模。

提出的方法

• 将反向问题表述为带有损失函数的PDE约束优化问题，该损失函数衡量预测值与稀疏观测之间的差异。
• 提出一种约束施加方法，将PDE解视为网络参数的可微函数，避免使用惩罚项。
• 使用反向自动微分计算损失相对于网络权重的梯度，同时考虑PDE解对参数的隐式依赖关系。
• 采用前向-反向计算模式：首先模拟PDE解（前向），然后通过神经网络和PDE求解器反向传播梯度。
• 利用稀疏雅可比矩阵计算和高效的线性求解器，处理PDE离散化产生的大规模稀疏系统。
• 构建一个计算框架（IGACS.jl），通过系数结构抽象梯度计算，实现PDE约束学习的高层可读代码。

实验结果

研究问题

• RQ1 在稀疏观测的数据驱动反向建模中，训练期间精确施加PDE约束是否能提升收敛性和稳定性？
• RQ2 与基于惩罚的方法相比，精确约束施加在优化速度和解的精度方面表现如何？
• RQ3 是否可行在一个统一的自动微分框架中对显式和隐式数值求解器进行求导，以支持PDE约束学习？
• RQ4 反向自动微分对嵌入PDE约束系统的深度神经网络训练计算效率有何影响？
• RQ5 该方法是否可扩展至惩罚法因收敛缓慢而难以处理的刚性PDE问题？

主要发现

• 所提方法在收敛速度和稳定性方面优于基于惩罚的方法，尤其在惩罚法收敛缓慢的刚性问题中表现更优。
• 通过精确施加PDE约束，该方法避免了惩罚项固有的近似误差，从而获得更精确的解。
• 反向自动微分的使用使得通过神经网络和隐式PDE求解器高效计算梯度成为可能，同时保持了计算效率。
• 该框架支持显式和隐式数值求解器，扩大了其在各类PDE系统中的适用范围。
• IGACS.jl中的实现表明，通过系数基操作符等高层抽象可表达复杂的PDE及其梯度，且不损失性能。
• 该方法通过将PDE解视为参数的可微函数，避免了增加优化变量数量，而惩罚法需引入额外变量。