[论文解读] Stochastic analysis of heterogeneous porous material with modified neural architecture search (NAS) based physics-informed neural networks using transfer learning

Hongwei Guo, Xiaoying Zhuang+1 more|arXiv (Cornell University)|Oct 3, 2020

Model Reduction and Neural Networks参考文献 77被引用 5

一句话总结

本文提出了一种改进的神经架构搜索（NAS）框架，结合物理信息神经网络（PINNs）与迁移学习，以实现对非均质多孔介质高效且精确的随机分析。通过利用随机谱表示法生成水力传导率场，并采用制造方法（method of manufactured solutions）进行误差估计，该方法在减少计算成本的同时，实现了对地下水流动随机PDE的高精度求解，在二维和三维基准测试中优于传统方法。

ABSTRACT

In this work, a modified neural architecture search method (NAS) based physics-informed deep learning model is presented for stochastic analysis in heterogeneous porous material. Monte Carlo method based on a randomized spectral representation is first employed to construct a stochastic model for simulation of flow through porous media. To solve the governing equations for stochastic groundwater flow problem, we build a modified NAS model based on physics-informed neural networks (PINNs) with transfer learning in this paper that will be able to fit different partial differential equations (PDEs) with less calculation. The performance estimation strategies adopted is constructed from an error estimation model using the method of manufactured solutions. A sensitivity analysis is performed to obtain the prior knowledge of the PINNs model and narrow down the range of parameters for search space and use hyper-parameter optimization algorithms to further determine the values of the parameters. Further the NAS based PINNs model also saves the weights and biases of the most favorable architectures, then used in the fine-tuning process. It is found that the log-conductivity field using Gaussian correlation function will perform much better than exponential correlation case, which is more fitted to the PINNs model and the modified neural architecture search based PINNs model shows a great potential in approximating solutions to PDEs. Moreover, a three dimensional stochastic flow model is built to provide a benchmark to the simulation of groundwater flow in highly heterogeneous aquifers. The NAS model based deep collocation method is verified to be effective and accurate through numerical examples in different dimensions using different manufactured solutions.

研究动机与目标

• 解决高维不确定性下非均质多孔介质随机分析中的计算挑战。
• 开发一种物理信息深度学习模型，以高效求解控制地下水流动的随机偏微分方程（PDE）。
• 通过整合神经架构搜索（NAS）与迁移学习及超参数优化，降低训练成本并提升泛化能力。
• 评估在PINN基模拟中，对数传导率场中不同相关结构（高斯与指数）的性能表现。
• 利用制造方法建立三维基准模型，用于高度非均质含水层中随机地下水流动的模拟。

提出的方法

• 采用随机谱表示法（RSM）生成具有指定相关结构（高斯或指数）的随机对数传导率场。
• 通过将控制方程和边界条件作为损失函数，训练物理信息神经网络（PINNs）求解随机稳态流PDE。
• 提出一种改进的NAS框架，自动搜索最优神经架构，减少对手动超参数调优的依赖。
• 通过重用先前搜索到的最优架构的权重和偏置，采用迁移学习加速新模拟中的收敛速度。
• 通过敏感性分析与超参数优化缩小搜索空间，提升模型效率。
• 应用制造方法（MMS）构建精确解并估计误差，实现对PINN模型的严格验证。

实验结果

研究问题

• RQ1 对数传导率场中相关结构的选择（高斯与指数）如何影响PINNs在随机地下水流动模拟中的性能？
• RQ2 基于改进NAS的PINN框架是否能显著降低计算成本，同时在求解多孔介质随机PDE时保持高精度？
• RQ3 迁移学习在PINN基非均质材料随机模拟中，在多大程度上提升了收敛速度与泛化能力？
• RQ4 所提出的NAS-PINN框架在近似求解具有复杂边界条件的二维与三维随机流动问题方面效果如何？
• RQ5 在不同维度下，基于制造解验证时，NAS-PINN模型的精度与鲁棒性如何？

主要发现

• 对数传导率场中的高斯相关函数相比指数相关函数表现出显著更优的性能，显示出与PINN框架更高的兼容性。
• 改进的NAS-PINN模型在求解二维与三维随机流动问题时达到高精度，数值结果与制造解高度吻合。
• 迁移学习的整合通过重用先前最优架构的权重与偏置，显著缩短了训练时间并提升了收敛性。
• 敏感性分析成功缩小了超参数搜索空间，提升了NAS过程的效率。
• 三维随机流动模型可作为高度非均质含水层中地下水流动模拟的可靠基准。
• 基于制造方法的误差估计模型证实了所提出的NAS-PINN框架在多个测试案例中的鲁棒性与准确性。