[论文解读] Towards Optimally Weighted Physics-Informed Neural Networks in Ocean Modelling

Taco de Wolff, Hugo Carrillo+2 more|arXiv (Cornell University)|Jun 16, 2021

Model Reduction and Neural Networks参考文献 25被引用 20

一句话总结

本文研究了用于海洋建模的物理信息神经网络（PINNs），提出通过优化数据与物理损失项的加权以提升泛化能力，尤其在数据有限的情况下。研究发现，在低数据环境下，引入物理定律可使误差降低65%，方差减少56%，且tanh与GELU激活函数在学习二阶导数方面优于ReLU。

ABSTRACT

The carbon pump of the world's ocean plays a vital role in the biosphere and climate of the earth, urging improved understanding of the functions and influences of the ocean for climate change analyses. State-of-the-art techniques are required to develop models that can capture the complexity of ocean currents and temperature flows. This work explores the benefits of using physics-informed neural networks (PINNs) for solving partial differential equations related to ocean modeling; such as the Burgers, wave, and advection-diffusion equations. We explore the trade-offs of using data vs. physical models in PINNs for solving partial differential equations. PINNs account for the deviation from physical laws in order to improve learning and generalization. We observed how the relative weight between the data and physical model in the loss function influence training results, where small data sets benefit more from the added physics information.

研究动机与目标

• 确定在海洋学PDE中，PINNs的数据损失与物理损失之间的最优平衡。
• 评估在训练数据稀缺时，物理信息正则化对模型精度与稳定性的影响力。
• 探讨神经网络超参数（如激活函数、深度与宽度）对最优损失加权的影响。
• 建立一种基于海洋建模的自动PINN参数化框架。
• 识别在低数据场景下能确保稳定训练的稳定且最小的数据子集。

提出的方法

• 构建一个结合数据保真度与物理信息PDE残差的损失函数，并引入可学习权重λ以平衡两项。
• 将PINNs应用于三个典型PDE：Burgers方程、对流-扩散方程与波动方程，这些方程代表了海洋流体动力学。
• 采用多种激活函数（tanh、GELU、ReLU等）以评估其对PDE导数学习的影响。
• 通过不同数据集大小（N_u）及随机数据子集选择进行数值实验，以评估模型鲁棒性。
• 通过超参数搜索研究网络宽度、深度与激活函数对最优λ的影响。
• 通过25次随机数据子集试验分析相对误差与标准差，以量化稳定性与性能。

实验结果

研究问题

• RQ1 在求解与海洋相关的PDE时，数据与物理损失的相对权重如何影响PINN的性能？
• RQ2 在何种场景下，物理信息正则化最为有效，特别是在数据有限的情况下？
• RQ3 哪些激活函数能更优地学习PINNs中的二阶及更高阶导数？
• RQ4 网络架构超参数（宽度、深度、激活函数）如何影响最优损失加权？
• RQ5 何种数据子集可构成稳定且最小的集合，以确保在低数据场景下的鲁棒训练？

主要发现

• 在低数据场景（小N_u）下，加入物理损失项使平均相对误差降低65%，误差标准差减少56%。
• 最优损失权重λ在不同PDE间差异显著：Burgers方程为λ = 0.1，对流-扩散方程为λ = 0.5，波动方程为λ = 0.002。
• tanh与GELU激活函数表现优于其他函数，尤其在学习二阶导数方面；ReLU因在非间断点处二阶导数为零而表现不佳。
• Softsign与CELU函数也表现欠佳，因其在x=0处二阶导数不连续。
• 引入物理损失的PINNs展现出更优的训练稳定性，并在不同随机数据子集选择下显著降低方差。
• 本研究是首次已知在不同PDE与超参数下系统探究PINNs最优损失加权的研究，尤其聚焦于海洋建模场景。