[论文解读] Multi-variance replica exchange stochastic gradient MCMC for inverse and forward Bayesian physics-informed neural network

Guang Lin, Yating Wang+1 more|arXiv (Cornell University)|Jul 13, 2021

Model Reduction and Neural Networks参考文献 35被引用 6

一句话总结

该论文提出了一种多方差复制交换随机梯度朗之万动力学（m-reSGLD）方法，用于贝叶斯物理信息神经网络（PINNs），实现了在具有多模态后验分布的反演问题与前向问题中高效采样。通过在高温链中使用低保真度求解器、低温链中使用高保真度求解器，该方法在保持精度的同时降低了计算成本，并实现了比SGLD和传统复制交换方法更快的收敛速度。

ABSTRACT

Physics-informed neural network (PINN) has been successfully applied in solving a variety of nonlinear non-convex forward and inverse problems. However, the training is challenging because of the non-convex loss functions and the multiple optima in the Bayesian inverse problem. In this work, we propose a multi-variance replica exchange stochastic gradient Langevin diffusion method to tackle the challenge of the multiple local optima in the optimization and the challenge of the multiple modal posterior distribution in the inverse problem. Replica exchange methods are capable of escaping from the local traps and accelerating the convergence. However, it may not be efficient to solve mathematical inversion problems by using the vanilla replica method directly since the method doubles the computational cost in evaluating the forward solvers (likelihood functions) in the two chains. To address this issue, we propose to make different assumptions on the energy function estimation and this facilities one to use solvers of different fidelities in the likelihood function evaluation. We give an unbiased estimate of the swapping rate and give an estimation of the discretization error of the scheme. To verify our idea, we design and solve four inverse problems which have multiple modes. The proposed method is also employed to train the Bayesian PINN to solve the forward and inverse problems; faster and more accurate convergence has been observed when compared to the stochastic gradient Langevin diffusion (SGLD) method and vanila replica exchange methods.

研究动机与目标

• 解决贝叶斯反演问题中物理信息神经网络所面临的多个局部最优解与多模态后验分布的挑战。
• 降低传统复制交换MCMC方法的高计算成本，这些方法在两条链中均需使用相同的高保真度求解器。
• 通过在不同链中利用不同保真度的求解器——高温链使用低保真度求解器，低温链使用高保真度求解器——实现高效采样。
• 确保无偏交换率并为所提方案提供离散化误差估计。
• 在具有复杂非高斯后验分布的前向与反演问题中展示优越性能。

提出的方法

• 提出一种多方差复制交换随机梯度朗之万扩散（m-reSGLD）框架，采用两条不同温度的链：低温链用于局部收敛，高温链用于全局探索。
• 引入一种多保真度能量估计策略：在高温链中使用粗分辨率求解器，在低温链中使用精细分辨率求解器，以降低计算成本。
• 设计一种无偏交换率估计器，以维持细致平衡并确保正确的采样分布。
• 为m-reSGLD方案提供离散化误差界，以确保理论上的收敛性保障。
• 将该方法集成到贝叶斯PINN训练中，用于前向与反演问题，实现不确定性量化与鲁棒的参数推断。
• 使用小批量的随机梯度近似，以实现对大规模数据集与复杂模型的可扩展性。

实验结果

研究问题

• RQ1 在贝叶斯反演问题中，是否能在高温链与低温链中使用不同保真度的求解器，同时保持采样精度并降低计算成本？
• RQ2 与在两条链中均使用高保真度求解器相比，仅在高温链中使用低保真度求解器，对后验采样收敛速度与精度有何影响？
• RQ3 所提出的m-reSGLD方法是否能有效探索在物理信息学习中常见的非凸、非高斯反演问题中的多模态后验分布？
• RQ4 所提出的无偏交换率估计器对后验样本的偏差与方差有何影响？
• RQ5 在求解前向与反演PINN问题时，m-reSGLD相较于标准SGLD与传统复制交换SGLD在性能与收敛速度上表现如何？

主要发现

• 在非线性反演问题中，m-reSGLD在烧尽后达到的相对误差为0.0796，显著低于低温SGLD的0.0991与高温SGLD的0.1566。
• m-reSGLD的相对误差方差最小（8.962e-5），优于两种SGLD变体，表明其收敛更稳定。
• 反演参数α的均值估计为0.668，方差为0.0017，接近真实值0.7，表明后验推断准确。
• 如图10中的置信区间与解预测所示，该方法成功捕捉了具有多个模式的完整后验分布。
• 空间域上的最大方差为0.0737，均值为0.0307，表明预测解中不确定性量化的可靠性。
• m-reSGLD在收敛速度与误差水平上均优于SGLD与传统复制交换方法，验证了其在前向与反演PINN任务中的高效性与准确性。