[论文解读] Physics-informed Neural Networks with Periodic Activation Functions for Solute Transport in Heterogeneous Porous Media

Salah A Faroughi, Soltanmohammad, Ramin+3 more|arXiv (Cornell University)|Dec 17, 2022

Model Reduction and Neural Networks被引用 4

一句话总结

本研究提出一种基于周期性激活函数（sin）的物理信息神经网络（PiNN），以加速异质多孔介质中由对流-弥散方程控制的溶质运移模拟。通过将物理定律直接嵌入损失函数并使用sin激活函数，该方法在准确度上比基于tanh的PiNN提高两个数量级，训练速度提升两倍，同时相比有限元法（FEM）将推理时间减少三个数量级。

ABSTRACT

Simulating solute transport in heterogeneous porous media poses computational challenges due to the high-resolution meshing required for traditional solvers. To overcome these challenges, this study explores a mesh-free method based on deep learning to accelerate solute transport simulation. We employ Physics-informed Neural Networks (PiNN) with a periodic activation function to solve solute transport problems in both homogeneous and heterogeneous porous media governed by the advection-dispersion equation. Unlike traditional neural networks that rely on large training datasets, PiNNs use strong-form mathematical models to constrain the network in the training phase and simultaneously solve for multiple dependent or independent field variables, such as pressure and solute concentration fields. To demonstrate the effectiveness of using PiNNs with a periodic activation function to resolve solute transport in porous media, we construct PiNNs using two activation functions, sin and tanh, for seven case studies, including 1D and 2D scenarios. The accuracy of the PiNNs' predictions is then evaluated using absolute point error and mean square error metrics and compared to the ground truth solutions obtained analytically or numerically. Our results demonstrate that the PiNN with sin activation function, compared to tanh activation function, is up to two orders of magnitude more accurate and up to two times faster to train, especially in heterogeneous porous media. Moreover, PiNN's simultaneous predictions of pressure and concentration fields can reduce computational expenses in terms of inference time by three orders of magnitude compared to FEM simulations for two-dimensional cases.

研究动机与目标

• 为解决传统求解器（如FEM）在模拟异质多孔介质中溶质运移时因高分辨率网格划分需求而导致的计算效率低下问题。
• 开发一种无网格的深度学习方法，将物理定律直接整合到神经网络训练过程中，以实现高精度且高效的模拟。
• 评估PiNN在预测溶质浓度场与压力场时，采用周期性（sin）与非周期性（tanh）激活函数的性能差异。
• 展示PiNN在高精度与低推理成本下，同时预测多个场变量（压力与浓度）的能力。
• 识别最优超参数，并通过迭代随机搜索调优方法评估在复杂异质域中的收敛稳定性。

提出的方法

• 采用物理信息神经网络（PiNN），通过自动微分将对流-弥散方程、初始条件与边界条件作为损失函数的一部分进行强制约束。
• 在PiNN架构中使用周期性激活函数（sin），并与标准的tanh激活函数进行对比，用于溶质运移建模。
• 利用由PDE残差项、初始条件与边界条件组成的损失函数对PiNN进行训练，采用自适应加权以平衡相互竞争的损失项。
• 在单一PiNN框架内同时预测压力场与溶质浓度场，以降低计算成本。
• 采用迭代随机搜索超参数调优方法，为每个案例研究优化网络架构与超参数。
• 通过绝对点误差与均方误差指标，将预测结果与解析解或高保真FEM模拟进行验证。

实验结果

研究问题

• RQ1 激活函数的选择（sin与tanh）如何影响PiNN在模拟多孔介质中溶质运移时的准确度与训练速度？
• RQ2 在具有复杂流场结构的异质多孔介质中，采用周期性激活函数的PiNN是否能实现比标准PiNN更高的准确度与更快的收敛速度？
• RQ3 PiNN在多场问题中同时预测压力与浓度场时，与传统FEM求解器相比，其推理时间的降低程度如何？
• RQ4 在异质域中训练多场问题的PiNN时，面临哪些计算与收敛挑战，如何有效缓解？
• RQ5 PiNN的推理加速效果在多孔介质中随网格分辨率与异质性水平的提升如何变化？

主要发现

• 在所有1D与2D案例研究中，采用sin激活函数的PiNN相比tanh基线模型，准确度最高提升两个数量级。
• sin基PiNN的训练速度相比tanh基模型最高提升两倍，尤其在具有复杂流场模式的异质介质中表现更优。
• 在2D均质多孔介质中，PiNN推理速度相比FEM最高提升1,458.7倍，异质案例中的加速因子为1,399.6x至1,402.3x。
• 在2D案例中，通过PiNN同时预测压力与浓度场，相比FEM将推理时间减少三个数量级。
• 尽管性能显著提升，PiNN训练仍面临梯度消失与不稳定性问题，主要源于相互竞争的损失项，需进行精细的超参数调优。
• 该方法在不同渗透率异质性程度下均表现出鲁棒性，在包含显著长度尺度差异与复杂流网结构的域中仍保持高准确度。