[论文解读] PSO-PINN: Physics-Informed Neural Networks Trained with Particle Swarm Optimization

Caio Davi, Ulisses Braga-Neto|arXiv (Cornell University)|Feb 4, 2022

Model Reduction and Neural Networks被引用 11

一句话总结

本文提出PSO-PINN，一种通过粒子群优化（PSO）训练的物理信息神经网络框架，以解决基于梯度的PINN训练中的收敛问题。通过引入PSO-BP-CD——一种结合自适应梯度下降的混合PSO方法，PSO-PINN在常微分方程（ODE）和偏微分方程（PDE）基准测试中，实现了更优的精度与不确定性量化，优于标准ADAM和其它PSO变体。

ABSTRACT

Physics-informed neural networks (PINN) have recently emerged as a promising application of deep learning in a wide range of engineering and scientific problems based on partial differential equation (PDE) models. However, evidence shows that PINN training by gradient descent displays pathologies that often prevent convergence when solving PDEs with irregular solutions. In this paper, we propose the use of a particle swarm optimization (PSO) approach to train PINNs. The resulting PSO-PINN algorithm not only mitigates the undesired behaviors of PINNs trained with standard gradient descent but also presents an ensemble approach to PINN that affords the possibility of robust predictions with quantified uncertainty. We also propose PSO-BP-CD (PSO with Back-Propagation and Coefficient Decay), a hybrid PSO variant that combines swarm optimization with gradient descent, putting more weight on the latter as training progresses and the swarm zeros in on a good local optimum. Comprehensive experimental results show that PSO-PINN with the proposed PSO-BP-CD algorithm outperforms PINN ensembles trained with other PSO variants or with pure gradient descent.

研究动机与目标

• 解决在具有不规则或快速变化解的PDE中，基于梯度的物理信息神经网络（PINNs）训练所出现的收敛病态问题。
• 开发一种基于群智能的训练框架，支持PINNs的集成学习，实现不确定性量化与方差减少。
• 提出一种混合优化方法PSO-BP-CD，其在训练过程中动态增强对梯度下降的依赖，以提升收敛性与精度。
• 证明PSO-PINN在多种PDE与ODE基准测试中，相较于标准ADAM训练的PINN集成与其它PSO变体，在精度与鲁棒性方面均表现更优。

提出的方法

• PSO-PINN采用多部分损失函数，结合数据拟合项与PDE残差项，与标准PINNs一致，但通过粒子群优化而非梯度下降进行优化。
• 该方法使用PSO-BP-CD变体，将粒子群速度更新与反向传播梯度相结合，并随训练进程逐渐降低群体认知与社会成分的影响。
• 群中每个粒子代表一个独立的PINN，拥有自身的权重与偏置，从而形成一组模型，共同提升预测可靠性。
• 算法初始化100个PINN组成的群体，每个PINN使用相同的损失函数，并通过PSO-BP-CD演化其参数，以最小化数据与PDE约束的联合损失。
• 最终预测结果为集成均值，不确定性通过集成方差估算，提供校准后的置信区间。
• 学习率（α）、认知系数（c₁）与社会系数（c₂）等超参数通过模型选择进行调优，无需学习率调度。

实验结果

研究问题

• RQ1 粒子群优化能否缓解在具有不规则解的PDE中因梯度动力学刚性而引发的PINN训练收敛病态问题？
• RQ2 混合PSO-梯度下降方法（PSO-BP-CD）是否相比纯PSO或标准梯度下降能提升PINN性能？
• RQ3 PSO-PINN能否产生比标准ADAM基PINN集成更准确且更鲁棒的预测，并实现不确定性量化？
• RQ4 PSO-PINN的集成特性相比独立PINN训练，如何提升预测可靠性与不确定性估计能力？

主要发现

• 在Allen-Cahn方程基准测试中，采用PSO-BP-CD的PSO-PINN实现了0.093 ± 0.032的L₂误差，显著优于ADAM集成的0.327 ± 0.029误差。
• PSO-PINN集成收敛至参考解，而ADAM集成未能收敛，如图7所示可直观确认。
• PSO-BP-CD在所有基准测试中均优于普通PSO与PSO-BP，尤其在非线性Burgers方程上表现更优，表明自适应梯度加权具有显著优势。
• PSO-PINN的集成方差提供了校准良好的不确定性估计，方差越低表示预测置信度越高。
• PSO-PINN框架在多次独立运行中表现出一致性能，超参数在不同实验间展现出稳定且可迁移的取值。