[论文解读] Neural tangent kernel analysis of PINN for advection-diffusion equation

M. H. Saadat, B. Gjorgiev+2 more|arXiv (Cornell University)|Nov 21, 2022

Model Reduction and Neural Networks被引用 6

一句话总结

本文应用神经正切核（NTK）理论分析物理信息神经网络（PINNs）在线性对流-扩散方程中的表现，揭示训练失败的根本原因在于损失分量之间的谱偏差与特征值差异。研究发现，周期性激活函数（如sin）可缓解谱偏差，而自适应加权策略能解决收敛速率不平衡问题，从而在对流主导与扩散主导两种情形下均提升PINN的性能。

ABSTRACT

Physics-informed neural networks (PINNs) numerically approximate the solution of a partial differential equation (PDE) by incorporating the residual of the PDE along with its initial/boundary conditions into the loss function. In spite of their partial success, PINNs are known to struggle even in simple cases where the closed-form analytical solution is available. In order to better understand the learning mechanism of PINNs, this work focuses on a systematic analysis of PINNs for the linear advection-diffusion equation (LAD) using the Neural Tangent Kernel (NTK) theory. Thanks to the NTK analysis, the effects of the advection speed/diffusion parameter on the training dynamics of PINNs are studied and clarified. We show that the training difficulty of PINNs is a result of 1) the so-called spectral bias, which leads to difficulty in learning high-frequency behaviours; and 2) convergence rate disparity between different loss components that results in training failure. The latter occurs even in the cases where the solution of the underlying PDE does not exhibit high-frequency behaviour. Furthermore, we observe that this training difficulty manifests itself, to some extent, differently in advection-dominated and diffusion-dominated regimes. Different strategies to address these issues are also discussed. In particular, it is demonstrated that periodic activation functions can be used to partly resolve the spectral bias issue.

研究动机与目标

• 通过神经正切核（NTK）理论，探究PINN在求解线性对流-扩散方程时训练失败的根本原因。
• 通过NTK分析阐明对流速度与扩散参数如何影响PINN的训练动态。
• 评估激活函数与损失加权策略在缓解谱偏差与收敛速率差异方面的有效性。
• 为对流主导与扩散主导两种情形下的PINN行为提供统一的理解。

提出的方法

• 本研究采用NTK理论分析无限宽全连接PINNs在无限宽度极限下的行为，将其视为核回归模型。
• 推导并比较残差项与初始/边界条件项的NTK，以识别特征值差异。
• 通过分析NTK的频率响应，研究谱偏差效应，特别是其对低频解的偏好。
• 通过NTK分析与数值实验，评估激活函数（特别是tanh与sin）的影响。
• 应用自适应损失加权策略，以平衡残差项与边界条件项之间的收敛速率。
• 探索时域分解与顺序训练作为降低高频学习负担的替代策略。

实验结果

研究问题

• RQ1 对流速度如何影响对流-扩散方程中PINNs的NTK特征值分布？
• RQ2 为何即使解析解简单且为低频，PINN仍无法学习到解？
• RQ3 周期性激活函数（如sin）在多大程度上可减少PINN训练中的谱偏差？
• RQ4 损失分量之间的特征值差异如何影响PINNs的收敛性与解的准确性？
• RQ5 自适应损失加权与激活函数选择能否共同解决PINNs中的谱偏差与收敛不平衡问题？

主要发现

• 在对流主导区域，PINN训练失败主要源于残差与边界条件NTK之间的特征值差异，导致残差项主导训练过程。
• 即使解中不包含高频分量，特征值差异仍会导致初始与边界条件学习错误。
• 全连接网络的谱偏差会抑制对高频解特征的有效学习，尤其在对流主导情形下更为显著。
• 使用sin激活函数相比tanh能显著提升对高频行为的表征能力，该结论得到NTK分析与数值结果的验证。
• 自适应损失加权能有效减小特征值差异并改善收敛性，尤其在扩散主导区域（尽管解光滑）中表现突出。
• 在纯扩散情形下PINN的失败（解为平凡稳态）表明，特征值失衡是主要原因，而非解的复杂性。