[论文解读] Overview of Physics-Informed Machine Learning Inversion of Geophysical Data

Gerard T. Schuster, Shihang Feng|arXiv (Cornell University)|Oct 12, 2023

Seismic Imaging and Inversion Techniques被引用 4

一句话总结

本文提出了一种统一的物理信息机器学习（PIML）框架，用于地球物理数据的反演，通过联合目标函数将神经网络与物理定律相结合。结果表明，PIML可提升收敛性，降低陷入局部极小值的风险，并支持迁移学习，从而在数据有限或噪声较大的情况下实现高效反演。

ABSTRACT

We review four types of algorithms for physics-informed machine learning (PIML) inversion of geophysical data. The unifying equation is given by the joint objective function $ε$: \begin{eqnarray} ε^{||-PIML}&=&λ_1 \overbrace{||{\bf W}^{ML}({\bf H}_{\bf w} {\bf d}^{obs}-{\bf m})||^2}^{NN} + λ_2 \overbrace{{||{\bf W}^{FWI}({\bf L} {\bf m}-{\bf d}^{obs})||^2}}^{FWI} ~+ onumber\\ onumber\\ && + ~~Regularizer, \label{PIML.eq120} \end{eqnarray}where the optimal model ${\bf m}^*$ and weights $\bf w^*$ minimize $ε$. Here, The matrix weights are given by the boldface symbol $\bf W$, and full waveform inversion (FWI) is typically computed using a finite-difference solution of the wave equation, where $\bf L$ represents the forward modeling operation of the wave equation as a function of the model $\bf m$. Also, a fully-connected neural network (NN) is used to compute the model ${\bf H_w}{\bf d}^{obs} \approx \bf m$ from the observed input data ${\bf d}^{obs}$. The selection of weights $λ_i$ and the NN operations determine one of four different PIML algorithms. PIML offers potential advantages over standard FWI through its enhanced ability to avoid local minima and the option to locally train the inversion operator, minimizing the requirement for extensive training data for global applicability. However, the effectiveness of PIML relies on the similarity between the test and trained data. Nevertheless, a possible strategy to overcome this limitation involves initial pretraining of a PIML architecture with data from a broader region, followed by fine-tuning for specific data-a method reminiscent of the way large language models are pretrained and adapted for various tasks.

研究动机与目标

• 为解决纯物理基反演（如全波形反演）和纯数据驱动机器学习方法的局限性，通过将物理约束整合到神经网络训练中，实现方法融合。
• 通过将物理定律直接嵌入学习过程，减少对大规模训练数据的依赖，提升泛化能力与鲁棒性。
• 开发一种灵活、统一的PIML框架，通过可调节的超参数与损失组件，支持多种反演策略。
• 通过在广泛数据上预训练并在特定目标上微调，实现地球物理反演中的迁移学习，模拟大规模语言模型的适应机制。
• 通过利用物理作为正则化手段，提升非线性地球物理反演的收敛性，避免陷入局部极小值。

提出的方法

• 构建联合目标函数 ε，综合数据残差、物理一致性、边界条件、初始条件与正则化项，实现端到端的PIML反演。
• 采用全连接神经网络（NN）通过 H_w 将观测数据 d^obs 映射为模型 m，其可学习权重 w 通过最小化联合损失进行优化。
• 将全波形反演（FWI）作为基于物理的正演建模算子 L，由波动方程控制，并通过矩阵权重 W^FWI 处理数据可靠性。
• 应用物理信息神经网络（PINNs）将声学波动方程作为损失项 ε^physics，确保预测压力场在空间与时间上满足偏微分方程（PDE）。
• 将边界条件与初始条件作为附加损失项（ε^BC 与 ε^IC），确保在域边界与时间零点处保持物理一致性。
• 采用多尺度反演策略：首先反演低频数据，利用所得模型与权重通过迁移学习初始化高频反演。

Figure 1: Schematics for data inversion by a) pure-physics FWI, b) pure-data ML, and c) skeletal-data ML where $F({\bf d})$ is a filtering operation that extracts skeletal data from the recorded data. The dashed rectangles indicate that the enclosed system trains on many examples to get the optimal

实验结果

研究问题

• RQ1 与标准全波形反演相比，物理信息机器学习在地球物理反演中如何提升收敛性并降低陷入局部极小值的风险？
• RQ2 损失函数中的物理约束在多大程度上可减少对大规模、多样化训练数据集的需求？
• RQ3 从低波数模型进行的迁移学习是否能提升地震数据中高波数反演的精度与稳定性？
• RQ4 不同损失组件——数据残差、物理一致性、边界条件与初始条件——如何协同作用以稳定并加速PIML反演？
• RQ5 多尺度反演在提升PIML在地球物理数据中效率与鲁棒性方面发挥何种作用？

主要发现

• 通过在优化过程中直接嵌入物理定律，PIML反演相比标准FWI展现出更优的收敛性与更低的局部极小值风险。
• 联合目标函数 ε 综合了数据残差、物理一致性、边界条件、初始条件与正则化项，可在极少训练数据下实现稳健反演。
• 物理信息神经网络（PINNs）成功将声学波动方程作为损失项，确保预测压力场在时空域内满足PDE。
• 通过专用损失项（ε^BC 与 ε^IC）有效施加边界与初始条件约束，提升了结果的物理真实性与稳定性。
• 从低波数模型进行的迁移学习显著提升了高频反演的性能，实现更快收敛与更高模型精度。
• 以低频数据为起点的多尺度反演策略显著增强了后续高频反演的鲁棒性，降低了发散风险。

Figure 2: Diagram illustrating physics-related constraints as a function of data size (Karniadakis et al.,, 2021 ) . Here, physics provides extra information that can make up for the lack of sufficient data in the training of an ML algorithm.