[论文解读] Physics-guided Neural Networks (PGNN): An Application in Lake Temperature Modeling

Arka Daw, Anuj Karpatne+3 more|arXiv (Cornell University)|Oct 31, 2017

Hydrological Forecasting Using AI被引用 316

一句话总结

本文提出了物理引导神经网络（PGNN），将物理模型输出与神经网络及物理损失函数相结合，用于预测湖泊温度。与纯数据驱动或仅物理的模型相比，PGNN 提高了泛化性并确保物理一致性。

ABSTRACT

This paper introduces a framework for combining scientific knowledge of physics-based models with neural networks to advance scientific discovery. This framework, termed physics-guided neural networks (PGNN), leverages the output of physics-based model simulations along with observational features in a hybrid modeling setup to generate predictions using a neural network architecture. Further, this framework uses physics-based loss functions in the learning objective of neural networks to ensure that the model predictions not only show lower errors on the training set but are also scientifically consistent with the known physics on the unlabeled set. We illustrate the effectiveness of PGNN for the problem of lake temperature modeling, where physical relationships between the temperature, density, and depth of water are used to design a physics-based loss function. By using scientific knowledge to guide the construction and learning of neural networks, we are able to show that the proposed framework ensures better generalizability as well as scientific consistency of results. All the code and datasets used in this study have been made available on this link \url{https://github.com/arkadaw9/PGNN}.

研究动机与目标

• 将物理模型与神经网络相结合以在数据受限情形中增强科学发现与泛化能力。
• 提出混合物理-数据（HPD）建模框架，利用物理输出作为特征。
• 引入基于物理的损失函数，以在未标记数据上强制物理一致性并改善泛化性。
• 通过结合温度-密度-深度的物理关系，在湖泊温度建模中展示 PGNN。

提出的方法

• 通过将基于物理的模型输出（Y_PHY）作为特征输入到神经网络，同时提供输入驱动变量，来构建 HPD 模型。
• 定义一个学习目标，结合经验损失、模型复杂度，以及在未标记数据上可计算的物理损失（Loss.PHY）。
• 制定湖泊温度的具体基于物理的方程，包括温度–密度和密度–深度关系，以构建 Loss.PHY（方程3和14）。
• 使用一个3层全连接神经网络，每层12个节点，采用 AdaDelta 训练，批量大小为1000，并进行早停。
• 使用 Mille Lacs 湖和 Mendota 湖的3000样本训练集对 PHY 进行标定，在未标记数据上通过物理损失以及有标签测试集上的 RMSE 进行评估。

实验结果

研究问题

• RQ1 PGNN 能否在保持物理一致性的同时，获得比纯物理或纯数据驱动模型更低的 RMSE？
• RQ2 将物理损失纳入后，是否能降低未标记数据上的物理不一致性并提升跨湖的泛化能力？

主要发现

• PGNN 在 Mille Lacs 湖的 RMSE 0.73 并实现接近零的物理不一致性，相比 PHY 和黑箱模型表现更好。
• PGNN 在 Mendota 湖上以 RMSE 1.79 的成绩超越基线方法，同时保持物理一致性。
• NN 和 PGNN0 的 RMSE 均低于 PHY，但在物理不一致性方面 (>50% 的时间步) 表现较差。
• 提高物理权重超参数 lambda_PHY 能在不显著降低 RMSE 的情况下改善物理一致性。
• 由于物理引导正则化，PGNN 对于小型训练集也表现出稳健性。