[论文解读] Physics-informed Neural Networks with Unknown Measurement Noise

Philipp Pilar, Niklas Wahlström|arXiv (Cornell University)|Nov 28, 2022

Model Reduction and Neural Networks被引用 4

一句话总结

该论文提出PINN-EBM，一种物理信息神经网络框架，通过联合训练基于能量的模型（EBM）来学习未知的非高斯测量噪声分布，从而在非理想数据条件下实现鲁棒的PDE求解与参数识别。当噪声为非高斯或均值非零时，该方法在准确性和噪声分布恢复方面显著优于标准PINN。

ABSTRACT

Physics-informed neural networks (PINNs) constitute a flexible approach to both finding solutions and identifying parameters of partial differential equations. Most works on the topic assume noiseless data, or data contaminated with weak Gaussian noise. We show that the standard PINN framework breaks down in case of non-Gaussian noise. We give a way of resolving this fundamental issue and we propose to jointly train an energy-based model (EBM) to learn the correct noise distribution. We illustrate the improved performance of our approach using multiple examples.

研究动机与目标

• 解决标准物理信息神经网络（PINNs）在存在非高斯或非零均值测量噪声的数据上训练时的失效问题。
• 克服PINNs在非高斯噪声下使用最小二乘损失所导致的偏差参数估计与泛化能力差的局限性。
• 开发一种联合训练框架，同时从噪声测量中学习PDE解、参数以及真实的噪声概率密度函数（PDF）。
• 实现在测量噪声复杂、非对称或存在系统性偏差的真实世界场景中的系统辨识。
• 提供一种不仅提升预测性能，还能揭示数据采集过程中先前未被发现的系统性误差的方法。

提出的方法

• 将基于能量的模型（EBM）集成到PINN框架中，直接从预测值与噪声观测之间的残差中建模未知的测量噪声分布。
• 利用EBM估计测量残差的似然度，以替代标准PINNs中的最小二乘数据损失，采用更鲁棒的基于似然的损失。
• 通过反向传播联合训练PINN与EBM，总损失由PDE残差损失与EBM-based数据似然损失组合而成。
• 将总损失表述为物理信息PDE损失与EBM学习到的噪声分布下测量值的负对数似然（NLL）的加权和。
• 使EBM能够捕捉复杂噪声特性，如重尾、非对称性或多重模态，包括存在多个传感器偏差的情况。
• 使用验证数据调优PDE损失与数据损失之间的权重超参数（ω），以确保优化过程的平衡性。

实验结果

研究问题

• RQ1 当测量数据受非高斯噪声污染时，标准PINNs能否可靠地识别PDE参数？
• RQ2 与高斯噪声相比，PINNs在非高斯噪声下的性能如何退化？其退化原因是什么？
• RQ3 在噪声未知且非高斯的情况下，基于能量的模型（EBM）能否有效从PINN设置的残差中学习真实的噪声分布？
• RQ4 与标准PINN或固定噪声假设下的PINN相比，联合训练PINN与EBM是否能提升参数估计与解的准确性？
• RQ5 EBM组件能否检测到测量数据中的系统性偏差或多源噪声，例如来自合并传感器读数的情况？

主要发现

• 标准PINN框架在非高斯噪声下会失效，尤其当噪声具有非零均值或重尾时，原因在于使用了最小二乘损失。
• 对于纳维-斯托克斯方程，PINN-EBM在参数恢复方面显著优于标准PINN和PINN-off，将λ₁的误差降低了约20倍（从100|Δλ₁|的23.10降至1.19）。
• 在纳维-斯托克斯案例中，3G噪声下，PINN-EBM的RMSE为0.06，而标准PINN为0.20，表明其具有更优的解精度。
• 验证数据上的NLL，PINN-EBM为-0.03，而标准PINN为0.40，表明EBM学习到了更精确的噪声模型。
• 该方法成功学习了真实的多模态噪声分布（例如双峰高斯混合分布），包括来自故障传感器的偏置分量。
• EBM组件能够检测到先前未被识别的系统性数据误差，如噪声PDF中出现第二个峰，表明存在传感器偏差。