[论文解读] Neural network augmented inverse problems for PDEs

Jens Berg, Kaj Nyström|arXiv (Cornell University)|Dec 27, 2017

Numerical methods in inverse problems参考文献 18被引用 32

一句话总结

该论文提出了一种神经网络增强方法，用于求解偏微分方程（PDE）中的反问题，其中前馈神经网络作为未知系数的平滑、全局先验，替代了传统的Tikhonov正则化。该方法在1D–3D泊松方程中对噪声、不完整及非规则采样数据均表现出稳健性能，无需显式正则化即可实现高精度重建，且在具有不连续或多尺度系数的挑战性场景下优于经典有限元法（FEM）。

ABSTRACT

In this paper we show how to augment classical methods for inverse problems with artificial neural networks. The neural network acts as a prior for the coefficient to be estimated from noisy data. Neural networks are global, smooth function approximators and as such they do not require explicit regularization of the error functional to recover smooth solutions and coefficients. We give detailed examples using the Poisson equation in 1, 2, and 3 space dimensions and show that the neural network augmentation is robust with respect to noisy and incomplete data, mesh, and geometry.

研究动机与目标

• 解决PDE中反系数问题的不适定性，特别是在存在噪声或不完整数据的情况下。
• 用基于神经网络的先验替代传统Tikhonov正则化，以内在地促进平滑性。
• 提升在不同网格类型、几何形状和数据稀疏性水平下的系数重建鲁棒性。
• 在最优正则化条件下，评估神经网络先验与经典有限元法（FEM）的性能对比。
• 研究低容量神经网络在重建不连续或多尺度系数时的隐式正则化特性。

提出的方法

• 使用隐藏层采用Sigmoid激活函数、输出层为线性函数的前馈神经网络来参数化未知系数 $ q(x) $，实现全局平滑函数逼近。
• 将神经网络先验集成到PDE约束优化框架中，利用FEniCS求解前向PDE，使用dolfin-adjoint实现基于伴随法的自动梯度计算。
• 采用标准优化算法（如BFGS）最小化数据拟合误差泛函 $ J(u,q) = \frac{1}{2}\|u - \hat{u}\|_{L^2}^2 $，梯度通过伴随法计算。
• 依赖神经网络的归纳偏置隐式正则化解，避免显式Tikhonov型惩罚项。
• 将该方法应用于1D、2D和3D域中的泊松方程 $ -\nabla \cdot (q(x)\nabla u) = f $，并施加狄利克雷边界条件。
• 在噪声测量、不完整数据以及不同网格和几何构型下验证其鲁棒性。

实验结果

研究问题

• RQ1 神经网络能否在无需显式Tikhonov型正则化的情况下，作为有效的隐式正则化器应用于反PDE问题？
• RQ2 在相同条件下，神经网络先验相较于采用最优Tikhonov正则化的经典FEM表现如何？
• RQ3 该方法在不同空间维度下对噪声、不完整或稀疏测量数据的鲁棒性如何？
• RQ4 神经网络能否有效重建不连续或具有多尺度特性的系数，网络容量在其中起什么作用？
• RQ5 神经网络先验的全局平滑特性是否能在仅边界处有测量数据时仍实现准确的系数估计？

主要发现

• 神经网络方法在无需显式正则化的情况下实现了准确的系数重建，其归纳偏置自然地强制了平滑性。
• 在1D泊松问题中，5%噪声条件下，采用最优Tikhonov正则化的FEM在系数误差上优于神经网络，FEM的误差为 $2.06 \times 10^{-4}$，而神经网络的误差为 $5.03 \times 10^{-3}$（对应线性系数 $q = x+1$）。
• 尽管系数恢复误差较高，神经网络方法在噪声和数据稀疏性方面更具鲁棒性，尤其在高维和复杂几何中表现更优。
• 该方法在1D、2D和3D域中，针对不同网格类型和边界数据配置，成功实现了系数重建，展现出在几何形状上的泛化能力。
• 对于不连续或具有多尺度特性的系数，低容量神经网络可提供平滑重建，但需结合显式正则化或先进网络设计以提升精度。
• 神经网络方法相比FEM耗时更长（如 $q = 1 + 0.5\sin(2\pi x)$ 需190秒，而FEM仅需19秒），但即使仅使用边界测量数据，也能实现全局重建。