[论文解读] Train Once and Use Forever: Solving Boundary Value Problems in Unseen Domains with Pre-trained Deep Learning Models.

Hengjie Wang, Robert Planas+2 more|arXiv (Cornell University)|Apr 22, 2021

Model Reduction and Neural Networks参考文献 38被引用 8

一句话总结

该论文提出了一种一次性训练的深度学习框架 GFNet-MF，通过利用预训练的基因组流网络（GFNet）和马赛克流（MF）拼接算法，能够在无需微调的情况下，解决任意大小、形状和边界条件的边界值问题（BVPs）。该方法通过消除对新领域的重新训练，相较于最先进水平的PINNs，推理速度最高提升三个数量级，成功实现了对拉普拉斯方程和纳维-斯托克斯方程在比训练域大1200倍和12倍的域中的精确求解。

ABSTRACT

Physics-informed neural networks (PINNs) are increasingly employed to replace/augment traditional numerical methods in solving partial differential equations (PDEs). While having many attractive features, state-of-the-art PINNs surrogate a specific realization of a PDE system and hence are problem-specific. That is, each time the boundary conditions and domain shape change, the model needs to be re-trained. This limitation prohibits the application of PINNs in realistic or large-scale engineering problems especially since the costs and efforts associated with their training are considerable. This paper introduces a transferable framework for solving boundary value problems (BVPs) via deep neural networks which can be trained once and used forever for various domains of unseen sizes, shapes, and boundary conditions. First, we introduce \emph{genomic flow network} (GFNet), a neural network that can infer the solution of a BVP across arbitrary boundary conditions on a small square domain called \emph{genome}. Then, we propose \emph{mosaic flow} (MF) predictor, a novel iterative algorithm that assembles or stitches the GFNet's inferences to obtain the solution of BVPs on unseen, large domains while preserving the spatial regularity of the solution. We demonstrate that our framework can estimate the solution of Laplace and Navier-Stokes equations in domains of unseen shapes and boundary conditions that are, respectively, $1200$ and $12$ times larger than the domains where training is performed. Since our framework eliminates the need to re-train, it demonstrates up to 3 orders of magnitude speedups compared to the state-of-the-art.

研究动机与目标

• 克服物理信息神经网络（PINNs）在每个新领域、边界条件或形状下均需重新训练的局限性。
• 开发一种可迁移的深度学习框架，能够在无需进一步训练的情况下泛化至任意大小和几何形状的未见域。
• 实现在大规模工程应用中快速、可扩展且精确求解偏微分方程（PDEs）的目标，其中重新训练不切实际。
• 在将小规模预训练域的解外推至大规模未见域时，保持空间规则性和解的保真度。

提出的方法

• 引入基因组流网络（GFNet），一种在小正方形域上一次性训练的深度神经网络，用于推断所有可能边界条件下的BVP解。
• 设计马赛克流（MF）预测器，一种迭代算法，通过在重叠区域拼接GFNet的预测结果，重建大规模未见域上的解。
• 通过在相邻区域之间施加一致性约束，确保最终解的空间规则性。
• 采用基于坐标的神经表示，将空间位置和边界条件编码为GFNet的输入，以实现对多样化配置的泛化能力。
• 在小参考域内对GFNet进行多样化边界条件和域几何分布的训练，以最大化其泛化能力。
• 以自粗到精的方式应用MF算法，通过局部GFNet推理和一致性强制，迭代优化大域上的解。

实验结果

研究问题

• RQ1 在单一小型域上训练的深度学习模型，是否能无需重新训练即泛化至尺寸和形状截然不同的域，求解BVP？
• RQ2 在将预训练模型的局部预测结果拼接至大规模未见域时，如何保持空间规则性和解的一致性？
• RQ3 一次性训练的模型在推理速度和精度方面，相较于基于重新训练的PINNs，在未见PDE问题上能有多大程度的超越？
• RQ4 该框架在求解大规模域中的复杂PDE（如纳维-斯托克斯方程）时，是否能保持高精度？
• RQ5 该框架在保持解保真度的前提下，能够处理的最大域尺寸和复杂度是多少？

主要发现

• 所提出的GFNet-MF框架在训练域大小1200倍以内的域中，对拉普拉斯方程和纳维-斯托克斯方程实现了精确求解。
• 对于纳维-斯托克斯问题，该框架在无需任何重新训练的情况下，成功求解了比训练域大12倍的域。
• 与最先进水平的PINNs相比，该框架将推理时间减少了高达三个数量级（提升1000倍），而PINNs需为每个新问题重新训练。
• 通过马赛克流算法的强制，解在拼接区域之间保持了高度的空间规则性和一致性。
• 该模型在多样化边界条件和域形状上均表现出泛化能力，展现出对训练分布之外情况的鲁棒性。
• 预训练的GFNet在参考域内未见的边界条件下也实现了高精度，验证了其泛化能力。