[论文解读] Understanding and Mitigating Extrapolation Failures in Physics-Informed Neural Networks

Lukas Fesser, Luca D’Amico-Wong+1 more|arXiv (Cornell University)|Jun 15, 2023

Model Reduction and Neural Networks被引用 4

一句话总结

本文识别出物理信息神经网络（PINNs）外推失败的主要原因并非高频分量，而是解函数傅里叶谱中的频谱偏移。本文提出加权Wasserstein-傅里叶（WWF）距离来量化这些偏移，并表明当存在频谱偏移时，基于相似PDE的迁移学习可将外推误差降低高达82%。

ABSTRACT

Physics-informed Neural Networks (PINNs) have recently gained popularity due to their effective approximation of partial differential equations (PDEs) using deep neural networks (DNNs). However, their out of domain behavior is not well understood, with previous work speculating that the presence of high frequency components in the solution function might be to blame for poor extrapolation performance. In this paper, we study the extrapolation behavior of PINNs on a representative set of PDEs of different types, including high-dimensional PDEs. We find that failure to extrapolate is not caused by high frequencies in the solution function, but rather by shifts in the support of the Fourier spectrum over time. We term these spectral shifts and quantify them by introducing a Weighted Wasserstein-Fourier distance (WWF). We show that the WWF can be used to predict PINN extrapolation performance, and that in the absence of significant spectral shifts, PINN predictions stay close to the true solution even in extrapolation. Finally, we propose a transfer learning-based strategy to mitigate the effects of larger spectral shifts, which decreases extrapolation errors by up to 82%.

研究动机与目标

• 探究PINNs外推失败的根本原因，超越以往对解中高频分量作用的普遍假设。
• 通过傅里叶谱分析，表征能够促进或阻碍PINN外推的PDE。
• 开发一种可量化的度量——加权Wasserstein-傅里叶距离（WWF），以预测外推性能。
• 评估迁移学习是否能缓解PDE解中因频谱偏移导致的外推误差。
• 证明研究结果在低维与高维PDE中的泛化能力。

提出的方法

• 作者分析多种PDE解函数的傅里叶谱，以检测随时间变化的频谱支撑偏移。
• 提出加权Wasserstein-傅里叶（WWF）距离，用于量化插值域与外推域之间的频谱偏移。
• 在具有已知初值与边值条件的时间依赖PDE上训练PINNs，并评估其在训练时间范围之外的外推性能。
• 通过在一组相似PDE（如变化扩散系数或雷诺数等参数）上进行预训练，随后在目标PDE上微调，应用迁移学习。
• 实验对比基线PINNs、半域迁移学习与全域迁移学习，评估外推精度的提升效果。
• 计算训练区间与外推区间解的傅里叶谱之间的WWF距离，以关联观测到的外推误差。

实验结果

研究问题

• RQ1 PINNs的外推失败是否由解中高频分量的存在以外的原因引起？
• RQ2 PDE解的傅里叶谱中的频谱偏移能否预测PINN的外推性能？
• RQ3 当解的动力学中存在频谱偏移时，迁移学习是否能改善外推性能？
• RQ4 频谱偏移的存在或缺失如何影响PINNs中迁移学习的性能？
• RQ5 所提出的WWF距离能否作为PINNs中外推误差的可靠预测指标？

主要发现

• PINNs的外推失败并非由解函数中的高频分量引起，与先前推测相矛盾。
• 频谱偏移——即傅里叶谱支撑随时间的变化——是PINNs中外推误差的主要驱动因素。
• 加权Wasserstein-傅里叶（WWF）距离能有效量化频谱偏移，并以高精度预测PINN的外推性能。
• 当频谱偏移不存在时，迁移学习无法提升外推性能，证实频谱偏移是需重点缓解的关键因素。
• 当存在显著频谱偏移时，基于相似PDE的迁移学习可将外推误差降低高达82%。
• 迁移学习的优势具有外推特异性；在插值任务中，由于归纳偏差更强，迁移学习反而可能降低性能。