[论文解读] Physics-informed Neural Networks for Solving Inverse Problems of Nonlinear Biot's Equations: Batch Training

Teeratorn Kadeethum, Thomas Martini Jørgensen+1 more|arXiv (Cornell University)|May 18, 2020

Model Reduction and Neural Networks参考文献 40被引用 10

一句话总结

本文提出采用小批量训练的物理信息神经网络（PINNs）来求解多孔介质中非线性Biot方程的反问题，提升了物理参数估计的准确性。研究发现，小批量大小（8或32）相比全批量或大批次，能显著降低百分比误差（例如θ₁的误差为0.13–0.56%），尽管训练时间更长；模型对10%噪声具有鲁棒性，且对学习率敏感性得到验证。

ABSTRACT

In biomedical engineering, earthquake prediction, and underground energy harvesting, it is crucial to indirectly estimate the physical properties of porous media since the direct measurement of those are usually impractical/prohibitive. Here we apply the physics-informed neural networks to solve the inverse problem with regard to the nonlinear Biot's equations. Specifically, we consider batch training and explore the effect of different batch sizes. The results show that training with small batch sizes, i.e., a few examples per batch, provides better approximations (lower percentage error) of the physical parameters than using large batches or the full batch. The increased accuracy of the physical parameters, comes at the cost of longer training time. Specifically, we find the size should not be too small since a very small batch size requires a very long training time without a corresponding improvement in estimation accuracy. We find that a batch size of 8 or 32 is a good compromise, which is also robust to additive noise in the data. The learning rate also plays an important role and should be used as a hyperparameter.

研究动机与目标

• 将物理信息神经网络（PINNs）从全批量训练扩展至小批量训练，用于非线性Biot方程的反问题。
• 研究批量大小对基于PINNs的参数反演中估计精度与训练效率的影响。
• 评估小批量训练的PINNs在多孔介质应用中面对含噪声观测数据时的鲁棒性。
• 识别最优超参数，特别是批量大小和学习率，以实现准确且高效的反演建模。

提出的方法

• 本研究采用将非线性Biot方程强形式嵌入损失函数的物理信息神经网络（PINNs），以确保物理一致性。
• 使用小批量随机梯度下降训练深度神经网络，损失函数由数据拟合项与PDE残差项组成。
• 通过采用不同批量大小（8、32、128、全批量）来评估其对收敛性和参数估计精度的影响。
• 通过零均值高斯分布向观测压力和位移数据中引入噪声，以测试模型鲁棒性。
• 将学习率作为超参数处理，并通过调优以实现收敛性和准确性的最优。
• 为评估模型稳定性和泛化能力，实验在六组不同的随机权重初始化下重复进行。

实验结果

研究问题

• RQ1 与全批量训练相比，小批量训练如何影响PINNs在非线性Biot方程中物理参数估计的准确性？
• RQ2 在基于PINNs的反问题中，何种批量大小能在估计精度与训练时间之间实现最佳平衡？
• RQ3 在存在噪声数据（最高达10%）的情况下，小批量训练的PINNs在物理参数估计中的表现如何？
• RQ4 学习率在该反问题中对小批量训练的PINNs的收敛性和准确性起到何种作用？
• RQ5 小批量训练的PINNs在不同随机权重初始化下的性能是否具有鲁棒性？

主要发现

• 批量大小为8或32时，物理参数估计的百分比误差最低，例如在0%噪声下θ₁的误差仅为0.13%，显著优于全批量训练（误差64.10%）。
• 使用极小批量（如1）会增加训练时间但无法提升准确性，表明在某一临界点后收益递减。
• 较大的批量大小（如128）和全批量训练会导致更高的估计误差（例如在0%噪声下θ₁的误差为12.43%），表明泛化能力下降且更容易陷入局部极小值。
• 即使在10%噪声下，模型仍保持鲁棒性，所有参数的估计误差均控制在25%以内，尤其在批量大小为8或32时表现更优。
• 学习率是关键超参数，次优值会显著降低模型性能，因此需仔细调优。
• 模型在不同随机初始化下表现稳定，六次实验中均呈现一致趋势，表明具有可靠的收敛性。