[论文解读] Seismic Foundation Model (SFM): a new generation deep learning model in geophysics

Hanlin Sheng, Xinming Wu+4 more|arXiv (Cornell University)|Sep 6, 2023

Seismic Imaging and Inversion Techniques被引用 15

一句话总结

论文提出了 Seismic Foundation Model (SFM)，这是一个基于 Transformer 的自监督模型，在来自全球 192 次三维勘探的 2,286,422 张未标记的二维地震图像上进行预训练，并展示其在多种地球物理任务上的泛化能力。

ABSTRACT

While computer science has seen remarkable advancements in foundation models, which remain underexplored in geoscience. Addressing this gap, we introduce a workflow to develop geophysical foundation models, including data preparation, model pre-training, and adaption to downstream tasks. From 192 globally collected 3-D seismic volumes, we create a carefully curated dataset of 2,286,422 2-D seismic images. Fully using these unlabeled images, we employ the self-supervised learning to pre-train a Transformer-based Seismic Foundation Model (SFM) for producing all-purpose seismic features that work across various tasks and surveys. Through experiments on seismic facies classification, geobody identification, interpolation, denoising, and inversion, our pre-trained model demonstrates versatility, generalization, scalability, and superior performance over baseline models. Conclusively, we provide a foundation model and vast dataset to advance AI in geophysics, addressing challenges (poor generalization, lacking labels, and repetitive training for task-specified models) of applying AI in geophysics and paving the way for future innovations in geoscience.

研究动机与目标

• 动机：需要为地球科学领域定制的基础模型，以提高跨任务的泛化能力和可重用性。
• 为大规模未标记地震数据集的数据收集、预处理和自监督预训练开发工作流程。
• 展示预训练模型在多种地球物理任务（分类、分割、反演、去噪、插值）中的下游应用性。
• 提供一个公开数据集和预训练管道，以促进跨模型和跨勘探的公平评估。

提出的方法

• 使用全球收集的 192 组 3-D 地震数据集，创建一个包含 2,286,422 个带标签化类似标签的 2-D 地震切片的训练集。
• 采用带掩码自编码器（MAE）框架的生成式自监督学习目标。
• 选择基于 Transformer 的架构以进行全局上下文建模和泛化；将编码器预训练为 Seismic Foundation Model (SFM)。
• 由于缺乏标签且需要利用大规模未标记地震数据，采用无监督预训练。
• 在下游任务中，冻结或微调预训练的编码器，并附加一个轻量级解码器，用于岩相分类、地体分割、反射率反演、去噪和插值等任务。

实验结果

研究问题

• RQ1 通过自监督学习训练的地球物理专用基础模型是否可以在多个任务和勘探中学习可迁移的地震特征？
• RQ2 在岩相分类、地体识别、反演、去噪和插值方面，SFM 相较于面向特定任务或从头训练的 Transformer 模型的表现如何？
• RQ3 在多样化的全球未标记地震数据上进行预训练是否能提高跨数据集和分辨率的泛化和可扩展性？
• RQ4 在下游任务中微调与冻结编码器的影响是什么？
• RQ5 合成数据的集成是否能提升反演性能和真实感？

主要发现

• SFM-512、SFM-Frozen 和 SFM-Fine-tune 在地震岩相分类和地体识别方面，超越了任务特定基线（Unet、Deeplab、Transformer From Scratch）。
• 预训练模型在评估切片距离训练数据越远时显示出更强的泛化能力，表明外推能力得到提升。
• 反演和去噪任务受益于 Transformer 基于 SFM 捕获的全局上下文，ESFM 变体在 MS-SSIM 和 PSNR 指标上更高，且反射率输出更连续、去噪结果更好。
• 插值结果表明 SFM 变体比 Unet 或 Transformer From Scratch 更能保持结构连续性，具有更高的 PSNR 和更低的 MSE。
• 该研究提供了一个可扩展的工作流和一个大型、多样化的地震数据集，以实现跨多个勘探对地球物理基础模型的公平比较与评估。