[论文解读] Training multi-objective/multi-task collocation physics-informed neural network with student/teachers transfer learnings

Bahador Bahmani, WaiChing Sun|ArXiv.org|Jul 24, 2021

Model Reduction and Neural Networks参考文献 65被引用 14

一句话总结

本文提出了一种多目标、多任务的物理信息神经网络（PINN）框架，结合了预训练、网络到网络的知识迁移以及基于梯度手术的优化方法，以处理冲突的物理约束。通过利用向量化目标函数和改进的梯度下降法实现Pareto最优解，该方法提升了训练的鲁棒性和收敛性，在基准PDE问题上优于标准的加权和方法。

ABSTRACT

This paper presents a PINN training framework that employs (1) pre-training steps that accelerates and improve the robustness of the training of physics-informed neural network with auxiliary data stored in point clouds, (2) a net-to-net knowledge transfer algorithm that improves the weight initialization of the neural network and (3) a multi-objective optimization algorithm that may improve the performance of a physical-informed neural network with competing constraints. We consider the training and transfer and multi-task learning of physics-informed neural network (PINN) as multi-objective problems where the physics constraints such as the governing equation, boundary conditions, thermodynamic inequality, symmetry, and invariant properties, as well as point cloud used for pre-training can sometimes lead to conflicts and necessitating the seek of the Pareto optimal solution. In these situations, weighted norms commonly used to handle multiple constraints may lead to poor performance, while other multi-objective algorithms may scale poorly with increasing dimensionality. To overcome this technical barrier, we adopt the concept of vectorized objective function and modify a gradient descent approach to handle the issue of conflicting gradients. Numerical experiments are compared the benchmark boundary value problems solved via PINN. The performance of the proposed paradigm is compared against the classical equal-weighted norm approach. Our numerical experiments indicate that the brittleness and lack of robustness demonstrated in some PINN implementations can be overcome with the proposed strategy.

研究动机与目标

• 解决由于控制方程、边界条件和热力学不等式等冲突物理约束导致的PINN训练脆弱性和不稳定性问题。
• 通过使用标注数据进行预训练以及网络到网络的知识迁移，实现更优的权重初始化，从而提升训练效率和收敛性。
• 开发一种可扩展的、鲁棒的多目标PINN优化策略，避免因冲突梯度导致的次优局部极小值。
• 提供一个统一的多任务学习框架，用于处理PINNs中的竞争物理约束，而无需依赖任意的加权方案。
• 在求解基准边值问题方面，证明所提出方法相对于经典等权重范数方法的优越性。

提出的方法

• 使用存储在点云中的标注数据进行预训练，以在完整PINN训练前提供粗略的初始知识。
• 采用网络到网络的知识迁移方法，通过从已训练的小型网络向大型网络迁移知识，实现对大型神经网络的高效初始化。
• 引入梯度手术技术，通过修改冲突目标的梯度向量，解决来自多个物理约束的冲突梯度问题。
• 采用向量化目标函数公式化方法，实现具有Pareto最优解的多目标优化。
• 使用改进的梯度下降算法，在保持收敛性和稳定性的同时处理冲突梯度。
• 将控制PDE、边界条件、对称性、不变性以及热力学不等式等多种物理约束统一整合到一个损失函数中。

实验结果

研究问题

• RQ1 使用辅助数据进行预训练是否能提升多目标问题中PINN训练的鲁棒性和收敛性？
• RQ2 神经网络之间的知识迁移在大规模PINNs中如何提升初始化和训练效率？
• RQ3 梯度手术是否能有效解决PINNs中由竞争物理约束引发的冲突梯度？
• RQ4 所提出的多目标优化策略在解的精度和稳定性方面是否优于经典的加权和方法？
• RQ5 该框架在具有冲突物理约束的多样化基准PDE问题中，其鲁棒性在多大程度上得以保持？

主要发现

• 与依赖多个约束等权重范数的标准化PINN实现相比，所提出的框架显著提升了训练的鲁棒性。
• 使用点云数据进行预训练可加速收敛，并降低PINN训练中陷入不良局部极小值的风险。
• 网络到网络的知识迁移实现了大型神经网络的稳定且高效的初始化，提升了解的分辨率和训练稳定性。
• 梯度手术方法成功缓解了由竞争物理约束引起的冲突梯度，从而获得更优的Pareto最优解。
• 数值实验表明，与经典PINN方法相比，所提出方法在基准边值问题上实现了更高的精度和稳定性。
• 该方法在问题维度增加时仍能有效扩展，避免了某些现有多目标优化技术存在的差的可扩展性问题。