[论文解读] Stochastic groundwater flow analysis in heterogeneous aquifer with modified neural architecture search (NAS) based physics-informed neural networks using transfer learning.

Hongwei Guo, Xiaoying Zhuang+2 more|arXiv (Cornell University)|Oct 3, 2020

Model Reduction and Neural Networks被引用 3

一句话总结

本文提出了一种基于迁移学习的改进神经架构搜索（NAS）物理信息神经网络（PINN），以高效求解非均质含水层中的随机地下水流动问题。通过结合蒙特卡洛模拟与摄动理论进行不确定性量化，并利用制造解法的方法进行误差估计，该方法在保持多维和多种PDE类型高精度的同时，显著降低了计算成本。

ABSTRACT

In this work, a modified neural architecture search method (NAS) based physics-informed deep learning model is presented to solve the groundwater flow problems in porous media. Monte Carlo method based on a randomized spectral representation is first employed to construct a stochastic model for simulation of flow through porous media. The desired hydraulic conductivity fields are assumed to be log-normally distributed with exponential and Gaussian correlations. To analyze the Darcy equation with the random hydraulic conductivity in this case when its intensity of fluctuations is small, the lowest-order perturbation theory is used to reduce the difficulty of calculations, by neglecting the higher-order nonlinear part. To solve the governing equations for groundwater flow problem, we build a modified NAS model based on physics-informed neural networks (PINNs) with transfer learning in this paper that will be able to fit different partial differential equations (PDEs) with less calculation. The performance estimation strategies adopted is constructed from an error estimation model using the method of manufactured solutions. Since the configuration selection of the neural network has a strong influence on the simulation results, we apply sensitivity analysis to obtain the prior knowledge of the PINNs model and narrow down the range of parameters for search space and use hyper-parameter optimization algorithms to further determine the values of the parameters. Further the NAS based PINNs model also saves the weights and biases of the most favorable architectures, which is then used in the fine-tuning process. The proposed NAS model based deep collocation method is verified to be effective and accurate through numerical examples in different dimensions using different manufactured solutions.

研究动机与目标

• 为解决在具有不确定水力传导率的非均质多孔介质中求解随机地下水流动问题所面临的计算挑战。
• 降低为具有不同边界和初始条件的偏微分方程（PDE）训练物理信息神经网络（PINNs）所产生的高计算成本。
• 通过利用迁移学习和超参数优化，提升PINN训练的泛化能力和效率。
• 开发一种针对基于PDE的地下水流动模拟量身定制的稳健、自动化的神经架构搜索策略。

提出的方法

• 利用随机谱表示的蒙特卡洛模拟构建水力传导率场的随机模型，假设其服从对数正态分布，并采用指数/高斯相关结构。
• 当传导率波动较小时，采用最低阶摄动理论简化达西流方程，以线性化问题。
• 开发一种改进的NAS框架，自动搜索求解PDE的最优神经网络架构，从而减少人工超参数调优。
• 通过重用先前识别出的最优架构所学习的权重和偏置，将迁移学习应用于新PDE配置的微调，以加速训练过程。
• 采用制造解法进行性能评估，构建误差估计模型以指导架构搜索。
• 利用敏感性分析指导搜索空间，缩小超参数范围，提升搜索效率。

实验结果

研究问题

• RQ1 基于改进NAS的PINN框架是否能有效且高效地求解具有不确定水力传导率的非均质含水层中的随机地下水流动问题？
• RQ2 迁移学习与超参数优化的结合在多大程度上提升了PINNs在求解地下水流动PDE时的收敛性和准确性？
• RQ3 摄动理论的应用在在多大程度上降低了计算复杂度，同时保持了随机流动模拟的解精度？
• RQ4 基于制造解法的误差估计模型如何提升PINNs中架构搜索的可靠性？
• RQ5 所提出的NAS-PINN框架是否能够在无需从头开始训练的情况下，泛化到不同维度和PDE配置？

主要发现

• 所提出的NAS-PINN框架通过自动化架构搜索并利用迁移学习实现更快收敛，显著降低了计算成本。
• 敏感性分析与超参数优化的结合缩小了搜索空间，提升了NAS过程的效率与鲁棒性。
• 通过制造解法验证，在不同维度的多个数值算例中，该方法均实现了高精度。
• 基于制造解法的误差估计模型有效指导了架构选择，提升了解的可靠性。
• 该框架展现出强大的泛化能力，可在多种PDE配置间复用已学习的权重和偏置，仅需极少的重新训练。