[论文解读] Optimizing a DIscrete Loss (ODIL) to solve forward and inverse problems for partial differential equations using machine learning tools

Petr Karnakov, Sergey Litvinov+1 more|arXiv (Cornell University)|May 10, 2022

Reservoir Engineering and Simulation Methods被引用 12

一句话总结

ODIL 将偏微分方程（PDEs）的解表述为通过梯度法和牛顿法最小化其有限差分或有限元离散化的残差的离散优化问题。与物理信息神经网络（PINNs）相比，ODIL 实现了数量级更低的计算成本和更快的收敛速度，同时保持了经典数值方法的精度、稀疏性和守恒性质，使其在缺少参数或数据有限的前向和反向 PDE 问题中极为高效。

ABSTRACT

We introduce the Optimizing a Discrete Loss (ODIL) framework for the numerical solution of Partial Differential Equations (PDE) using machine learning tools. The framework formulates numerical methods as a minimization of discrete residuals that are solved using gradient descent and Newton's methods. We demonstrate the value of this approach on equations that may have missing parameters or where no sufficient data is available to form a well-posed initial-value problem. The framework is presented for mesh based discretizations of PDEs and inherits their accuracy, convergence, and conservation properties. It preserves the sparsity of the solutions and is readily applicable to inverse and ill-posed problems. It is applied to PDE-constrained optimization, optical flow, system identification, and data assimilation using gradient descent algorithms including those often deployed in machine learning. We compare ODIL with related approach that represents the solution with neural networks. We compare the two methodologies and demonstrate advantages of ODIL that include significantly higher convergence rates and several orders of magnitude lower computational cost. We evaluate the method on various linear and nonlinear partial differential equations including the Navier-Stokes equations for flow reconstruction problems.

研究动机与目标

• 为解决物理信息神经网络（PINNs）在求解 PDE 时的局限性，特别是针对计算成本高且收敛性差的病态问题和反向问题。
• 开发一种框架，结合经典数值离散化的鲁棒性与机器学习优化工具的灵活性。
• 利用基于梯度和牛顿型方法，实现 PDE 约束优化、数据同化、光流和系统辨识的高效求解。
• 在实现高收敛速率的同时，保留经典求解器的稀疏性、一致性和守恒性质。
• 为大规模科学模拟（如天气预报和流体动力学）提供一种可扩展、高精度且计算高效的 PINNs 替代方案。

提出的方法

• ODIL 框架在结构化网格上将 PDE 表述为对离散残差的最小化问题，采用结合离散 PDE 残差和初始/边界条件约束的损失函数。
• 损失函数定义为离散 PDE 残差的平方和与已知初始和边界值偏差的平方和之和，可选加入正则化项。
• 应用基于梯度的优化方法（如 L-BFGS-B）和牛顿法，利用自动微分计算梯度和稀疏海森矩阵近似。
• 该方法继承经典离散化的稀疏性，通过稀疏线性求解器（如直接法或多网格法）高效求解牛顿系统。
• 框架在 TensorFlow 中实现，利用自动微分计算损失相对于离散解场的导数。
• 该方法已应用于多种 PDE，包括波动方程、对流方程和纳维-斯托克斯方程，并在前向和反向问题上进行了验证。

实验结果

研究问题

• RQ1 离散残差最小化框架是否能在计算效率和收敛速度上超越物理信息神经网络（PINNs）以求解 PDE？
• RQ2 在机器学习优化框架中，经典数值离散化特性（如稀疏性、守恒性和稳定性）能在多大程度上得以保留？
• RQ3 当初始或最终条件已知但控制场未知时，ODIL 框架在求解反向问题（如光流或系统辨识）方面的有效性如何？
• RQ4 与 PINNs 中密集海森矩阵阻碍高效牛顿优化不同，牛顿法在应用于离散残差公式时，是否能在 PDE 求解中实现二次收敛？
• RQ5 与标准有限差分或有限元求解器相比，ODIL 在适定问题中的计算成本与精度权衡如何？

主要发现

• ODIL 的收敛速度显著快于 PINNs，牛顿法因海森矩阵的稀疏性可实现二次收敛，而 PINNs 中密集海森矩阵阻碍了高效牛顿优化。
• ODIL 每次评估的计算成本在每个网格点上为常数，而 PINNs 的计算成本随网络参数数量增长，因此在大规模问题中，ODIL 的计算成本低了数量级。
• 对于具有未知速度场的对流方程，ODIL 仅凭两个示踪物快照即成功重建了速度场，与参考解高度一致。
• 在纳维-斯托克斯流场重建问题中，ODIL 仅使用稀疏测量即高精度恢复了速度和压力场，展示了在反向问题中的鲁棒性。
• 该方法保留了底层有限差分或有限元格式的离散守恒律和稳定性特性，确保了可靠的数值行为。
• 该框架适用于 PDE 约束优化、数据同化和系统辨识，结果表明其在速度和精度上均优于 PINN 基线。