[论文解读] Solver-in-the-Loop: Learning from Differentiable Physics to Interact with Iterative PDE-Solvers

Kiwon Um, Robert Brand+4 more|arXiv (Cornell University)|Jun 30, 2020

Model Reduction and Neural Networks参考文献 76被引用 117

一句话总结

本文将神经修正训练成可与迭代 PDE 求解器互动的框架，在多种 PDE 场景中显著降低数值误差，并且优于不交互或预计算修正的方法。

ABSTRACT

Finding accurate solutions to partial differential equations (PDEs) is a crucial task in all scientific and engineering disciplines. It has recently been shown that machine learning methods can improve the solution accuracy by correcting for effects not captured by the discretized PDE. We target the problem of reducing numerical errors of iterative PDE solvers and compare different learning approaches for finding complex correction functions. We find that previously used learning approaches are significantly outperformed by methods that integrate the solver into the training loop and thereby allow the model to interact with the PDE during training. This provides the model with realistic input distributions that take previous corrections into account, yielding improvements in accuracy with stable rollouts of several hundred recurrent evaluation steps and surpassing even tailored supervised variants. We highlight the performance of the differentiable physics networks for a wide variety of PDEs, from non-linear advection-diffusion systems to three-dimensional Navier-Stokes flows.

研究动机与目标

• 在迭代 PDE 求解器中推动降低离散化误差和数值误差。
• 提出一个可由神经网络学习的修正函数 C(s|θ)，它可以与求解器交互。
• 比较三种训练机制（非交互、预计算、求解器参与）在准确性和稳定性方面的表现。
• 在从二维/三维流动到泊松问题的多组 PDE 中展示收益。
• 评估训练中前瞻展开对长期准确性和稳定性的影响。

提出的方法

• 将修正函数 C(s|θ) 建模为一个神经网络，对求解器状态 s 添加修正。
• 将神经修正嵌入可微分 PDE 求解器中，以实现端到端训练（求解器参与）。
• 对比 NON（无交互）、PRE（预计算交互）和 SOL（求解器参与）这三种训练机制。
• 使用一个全卷积网络（10 层，16 特征）并使用 ADAM（lr=1e-4）训练。
• 通过修正轨迹在 n 步内与参考值的平均绝对误差来评估性能，带有前瞻 n（SOL n）。
• 应用于对流扩散、二维/三维 Navier–Stokes、浮力驱动流动和泊松相关的 CG 初始化任务。

实验结果

研究问题

• RQ1 在可微分物理求解器内部学习的神经修正能否超越传统的监督或预计算修正，用于求解迭代求解器？
• RQ2 带有不同前瞻视野的求解器参与训练如何影响不同 PDE 的长期准确性和稳定性？
• RQ3 NON、PRE 与 SOL 交互模式在降低数值误差方面各自的优势与局限性？
• RQ4 可微分物理训练的修正是否能对分布外初始条件和更高维度的流动推广？

主要发现

Exp.	Mean absolute error of velocity	Rel. improvement
Wake Flow	0.146 ± 0.004	0.031 ± 0.010
Buoyancy	1.590 ± 1.033	1.373 ± 0.985
Adv.-diff.	0.248 ± 0.019	0.218 ± 0.017
CG Solver	121.6 ± 13.44	-
3D Wake	0.167 ± 0.061	-

• 求解器参与的修正在准确性上相对于非交互和预计算方法带来显著提升。
• 具有更长前瞻视野的 SOL 模型可以显著降低误差（在某些情况下相对提升约达到60%左右）。
• 可微分物理训练在超越监督或预计算修正方面带来改进，且长期滚动具有稳定性。
• 3D尾流在使用 SOL 修正时数值精度提升超过22%。
• 训练成本上升但推理保持不变，端到端仿真中实现加速（例如在某一情景中比 CPU 参考快68倍）。
• 修正对分布外初始条件具有推广性并提升循环 PDE 求解的稳定性。