[论文解读] Robust Learning of Physics Informed Neural Networks.

Chandrajit Bajaj, Luke McLennan+2 more|arXiv (Cornell University)|Oct 26, 2021

Model Reduction and Neural Networks参考文献 40被引用 7

一句话总结

该论文提出了一种基于高斯过程（GP）平滑的鲁棒物理信息神经网络（PINN）框架，以缓解训练数据中的噪声敏感性并防止偏微分方程（PDE）解的过拟合。通过引入GP方差估计和稀疏诱导点，该方法提升了泛化能力，减少了陷入局部极小值的倾向，并在时间依赖的薛定谔方程和伯吉斯方程上相比标准PINN实现了更优性能。

ABSTRACT

Physics-informed Neural Networks (PINNs) have been shown to be effective in solving partial differential equations by capturing the physics induced constraints as a part of the training loss function. This paper shows that a PINN can be sensitive to errors in training data and overfit itself in dynamically propagating these errors over the domain of the solution of the PDE. It also shows how physical regularizations based on continuity criteria and conservation laws fail to address this issue and rather introduce problems of their own causing the deep network to converge to a physics-obeying local minimum instead of the global minimum. We introduce Gaussian Process (GP) based smoothing that recovers the performance of a PINN and promises a robust architecture against noise/errors in measurements. Additionally, we illustrate an inexpensive method of quantifying the evolution of uncertainty based on the variance estimation of GPs on boundary data. Robust PINN performance is also shown to be achievable by choice of sparse sets of inducing points based on sparsely induced GPs. We demonstrate the performance of our proposed methods and compare the results from existing benchmark models in literature for time-dependent Schr\odinger and Burgers' equations.

研究动机与目标

• 解决标准PINN在求解偏微分方程（PDEs）时对噪声或错误训练数据的敏感性问题。
• 探究为何物理正则化（如连续性与守恒定律）会导致PINN收敛至次优局部极小值而非全局解。
• 开发一种鲁棒的PINN架构，在数据噪声下仍能保持精度与泛化能力，方法基于高斯过程（GP）的平滑技术。
• 通过GP方差估计实现在边界数据中的高效不确定性量化。
• 展示稀疏诱导点在降低计算成本的同时保持性能的潜力。

提出的方法

• 应用高斯过程（GP）回归对噪声训练数据进行平滑，并将GP正则化项引入PINN损失函数，以减少对测量误差的过拟合。
• 利用GP方差估计量化解域中不确定性传播，为边界数据提供可靠的不确定性度量。
• 将基于GP的平滑技术整合进PINN的训练目标，以在保持物理约束的同时提升对数据噪声的鲁棒性。
• 在GP中采用稀疏诱导点以降低计算复杂度，实现在大域上可扩展的训练。
• 构建一种混合损失函数，结合PINN的物理约束与GP正则化的数据保真项，以平衡精度与鲁棒性。
• 使用随机梯度下降优化联合损失函数，引入不确定性感知正则化，防止对噪声数据点的过拟合。

实验结果

研究问题

• RQ1 数据噪声如何影响标准PINN在求解PDE时的泛化能力与收敛行为？
• RQ2 为何连续性与守恒定律等物理正则化无法提升PINN的鲁棒性，反而导致其收敛至局部极小值？
• RQ3 基于高斯过程的平滑是否能有效降低噪声训练数据对PINN性能的影响？
• RQ4 在PINN训练过程中，如何通过GP方差估计高效量化边界数据中的不确定性？
• RQ5 在鲁棒PINN训练中，GP近似中的稀疏诱导点在降低计算成本的同时，能在多大程度上保持性能？

主要发现

• 所提出的基于GP的平滑方法显著提升了PINN对噪声训练数据的鲁棒性，减少了过拟合，并增强了时间依赖PDE的泛化能力。
• 连续性与守恒定律等物理正则化无法防止收敛至局部极小值，且在数据噪声下可能降低性能。
• GP方差估计可实现对边界数据中不确定性传播的精确且低成本的量化，支持不确定性感知学习。
• GP框架中的稀疏诱导点在降低计算成本的同时保持了高性能，使大规模区域上的可扩展部署成为可能。
• 所提出的鲁棒PINN在时间依赖的薛定谔方程和伯吉斯方程上优于标准PINN及基准模型，尤其在噪声条件下表现更优。
• 该方法通过避免由刚性物理约束引发的虚假满足物理规律的局部极小值，实现了对全局最小值的更好收敛。