[论文解读] MultiAdam: Parameter-wise Scale-invariant Optimizer for Multiscale Training of Physics-informed Neural Networks

Jiachen Yao, Chang Su+4 more|arXiv (Cornell University)|Jun 5, 2023

Model Reduction and Neural Networks被引用 6

一句话总结

本文提出 MultiAdam，一种用于物理信息神经网络（PINNs）的参数级、尺度不变优化器，通过为每个损失项单独使用梯度动量来解决多尺度偏微分方程（PDE）训练中的损失不平衡问题。在多种 PDE 上，其预测精度相比强基线模型提升 1–2 个数量级，且在收敛性和对域缩放的鲁棒性方面表现更优。

ABSTRACT

Physics-informed Neural Networks (PINNs) have recently achieved remarkable progress in solving Partial Differential Equations (PDEs) in various fields by minimizing a weighted sum of PDE loss and boundary loss. However, there are several critical challenges in the training of PINNs, including the lack of theoretical frameworks and the imbalance between PDE loss and boundary loss. In this paper, we present an analysis of second-order non-homogeneous PDEs, which are classified into three categories and applicable to various common problems. We also characterize the connections between the training loss and actual error, guaranteeing convergence under mild conditions. The theoretical analysis inspires us to further propose MultiAdam, a scale-invariant optimizer that leverages gradient momentum to parameter-wisely balance the loss terms. Extensive experiment results on multiple problems from different physical domains demonstrate that our MultiAdam solver can improve the predictive accuracy by 1-2 orders of magnitude compared with strong baselines.

研究动机与目标

• 解决 PINN 训练中 PDE 项与边界项之间损失不平衡的关键挑战，尤其是在域缩放条件下。
• 构建一个理论基础坚实的优化框架，通过 $L^\infty$ 误差界将损失函数与实际解误差关联起来。
• 设计一种鲁棒且自适应的优化器，能够在参数层面动态平衡损失项，且独立于全局缩放。
• 通过基于梯度动量的损失重加权，在温和条件下确保收敛至真实解。
• 在不同物理 PDE 上（包括亥姆霍兹方程和伯吉斯方程）展示优越的性能和稳定性，涵盖多种域尺度。

提出的方法

• 提出一个理论误差界，将 PDE 和边界损失与 $L^\infty$ 解误差关联，确保在最小化损失时实现收敛。
• 提出 MultiAdam，一种新型优化器，为 PDE 和边界损失分量分别维护独立的二阶梯度动量。
• 利用个体动量估计实现梯度的自适应缩放，实现与绝对损失大小无关的参数级平衡。
• 将基于动量的缩放应用于网络权重更新，确保在损失项相差多个数量级时仍能实现稳定且快速的收敛。
• 将优化目标表述为损失的加权和，其中权重通过动量比动态调整，以保持尺度不变性。
• 在具有不同域尺度的基准 PDE 上验证该方法，包括二维泊松方程、亥姆霍兹方程和伯吉斯方程。

实验结果

研究问题

• RQ1 域缩放如何影响 PINN 训练中 PDE 项与边界项损失的相对大小？
• RQ2 能否推导出一个理论误差界，将损失函数与 PINN 中实际的 $L^\infty$ 解误差关联起来？
• RQ3 梯度动量能否作为多尺度 PINN 训练中自适应、参数级损失平衡的可靠指标？
• RQ4 像 MultiAdam 这样的尺度不变优化器是否在精度和收敛速度上优于现有的重加权和基于梯度的方法？
• RQ5 与标准优化器（如 Adam 和 LRA）相比，MultiAdam 在域重缩放下的鲁棒性如何？

主要发现

• 在域缩放条件下的亥姆霍兹方程上，MultiAdam 相比 Adam 和其他基线模型，将相对 $L^2$ 误差降低了两个数量级。
• 在亥姆霍兹-0.2 案例（小域）中，MultiAdam 实现了 0.87% 的相对 $L^2$ 误差，优于 Adam（93.46%）和 NTK（100%）。
• 在伯吉斯方程实验中，MultiAdam 实现了 2.95% 的相对 $L^2$ 误差，优于 Adam（5.87%）和 PCGrad（15.96%），且训练更稳定。
• MultiAdam 在动量初始估计后表现出更快的收敛速度，在 $L^2$ 损失曲线中显示出比 Adam 和 PCGrad 更快的速度和更高的稳定性。
• 该方法在不同域尺度下均保持高性能，展现出对重缩放的强鲁棒性，而对比方法的性能显著下降。
• 理论分析证实，最小化加权损失可导致 $L^\infty$ 误差有界，为优化目标提供了坚实的理论基础。