[论文解读] The Neural Network Approach to Inverse Problems in Differential Equations

Kailai Xu, Eric Darve|arXiv (Cornell University)|Jan 23, 2019

Numerical methods in inverse problems参考文献 43被引用 34

一句话总结

本文提出一个神经网络框架，用于在偏微分方程模型中标定未知函数，利用自动微分，并对扩散问题给出误差收敛性分析，以及对感兴趣量的灵敏度分析方法。

ABSTRACT

We proposed a framework for solving inverse problems in differential equations based on neural networks and automatic differentiation. Neural networks are used to approximate hidden fields. We analyze the source of errors in the framework and derive an error estimate for a model diffusion equation problem. Besides, we propose a way for sensitivity analysis, utilizing the automatic differentiation mechanism embedded in the framework. It frees people from the tedious and error-prone process of deriving the gradients. Numerical examples exhibit consistency with the convergence analysis and error saturation is noteworthily predicted. We also demonstrate the unique benefits neural networks offer at the same time: universal approximation ability, regularizing the solution, bypassing the curse of dimensionality and leveraging efficient computing frameworks.

研究动机与目标

• 提出一个神经网络框架，利用观测数据对PDE模型中的未知函数进行标定。
• 推导该框架的误差估计，特别是针对扩散模型问题，并在数据粒度增大时展示收敛性。
• 提出一种灵敏度分析方法，用于评估计算得到的物理量的可信度。
• 在线性与非线性PDE标定问题上演示该方法并讨论数值结果。

提出的方法

• 将未知函数f近似为神经网络fθ，并通过一个衡量PDE残差在数据样本上的损失来强制模型一致性。
• 通过在离散点处评估神经网络并将其与现有数值方案（显式/隐式/半隐式）用于前向仿真的耦合，使用延迟离散化。
• 结合自动微分以计算θ的梯度，用于优化，实现端到端学习。
• 对网络权重施加统一界限，以获得导数界限和正则化效应。
• 给出一个误差分解，包含观测误差、离散化的一致性误差和优化误差，并推导|fθ − f|的整体界限。
• 讨论神经网络的逼近理论（单层与多层，Kolmogorov叠加定理）以促使为高维问题设计更深的结构。

实验结果

研究问题

• RQ1 在现实噪声和离散化条件下，神经网络是否能从观测数据中准确恢复PDE中的未知系数函数？
• RQ2 神经网络基逆问题框架中的误差来源与大小是什么，它们如何影响收敛性？
• RQ3 在此框架内如何进行灵敏度分析，以评估感兴趣量的预测可信度？
• RQ4 神经网络是否提供正则化和降维处理的优势，超过传统的逆问题方法？

主要发现

• 在对数据和优化做出某些假设的前提下，该框架对扩散模型给出形式为 O(Δt2 + h2) 的误差界。
• 通过对神经网络权重施加边界的正则化有助于稳定学习到的fθ，当真实f行为不良时尤为有用。
• 灵敏度分析可以识别感兴趣量的‘敏感区域’，与目标泛函对网络参数的梯度相关。
• 数值实验与理论误差估计一致，并在数据分辨率提高时揭示误差达到饱和点。
• 该方法利用普适逼近性、正则化以及与标准PDE求解器的兼容性，提供一个灵活的一体化标定工具。