[论文解读] Stacked autoencoders based machine learning for noise reduction and signal reconstruction in geophysical data

Debjani Bhowick, Deepak Gupta+2 more|arXiv (Cornell University)|Jul 7, 2019

Seismic Imaging and Inversion Techniques参考文献 59被引用 10

一句话总结

该论文提出了一种堆叠去噪自编码器框架，用于地震、测井和自然电位（SP）数据中的噪声抑制与信号重建，利用深度神经网络从受损输入中学习非线性低维表示。在合成数据中，该方法实现了超过90%的噪声抑制，在SP异常数据中最高达到80%的噪声抑制效果，且在地震和测井数据上表现强劲，证明其作为地球物理领域数据驱动去噪工具的有效性。

ABSTRACT

Autoencoders are neural network formulations where the input and output of the network are identical and the goal is to identify the hidden representation in the provided datasets. Generally, autoencoders project the data nonlinearly onto a lower dimensional hidden space, where the important features get highlighted and interpretation of the data becomes easier. Recent studies have shown that even in the presence of noise in the input data, autoencoders can be trained to reconstruct the noisefree component of the data from the reduced-dimensional hidden space. In this paper, we explore the application of autoencoders within the scope of denoising geophysical datasets using a data-driven methodology. The autoencoder formulation is discussed, and a stacked variant of deep autoencoders is proposed. The proposed method involves locally training the weights first using basic autoencoders, each comprising a single hidden layer. Using these initialized weights as starting points in the optimization model, the full autoencoder network is then trained in the second step. The applicability of denoising autoencoders has been demonstrated on a basic mathematical example and several geophysical examples. For all the cases, autoencoders are found to significantly reduce the noise in the input data.

研究动机与目标

• 开发一种无需依赖物理正向模型的数据驱动机器学习方法，用于地球物理信号的去噪与重建。
• 解决地球物理勘探中常见的地震、测井和SP（自发电位）数据集中的噪声污染与数据缺失问题。
• 通过深度自编码器学习复杂地球物理数据的鲁棒、非线性低维表示，以改善信号解释。
• 探索堆叠自编码器在处理高噪声水平和缺失道次的真实地球物理数据中的可行性。
• 在不同噪声条件下，评估所提方法在多种地球物理数据类型（包括合成与现场实例）上的性能。

提出的方法

• 采用两阶段训练流程：首先对单个浅层自编码器（仅含一个隐藏层）进行预训练，然后将其堆叠为深层堆叠自编码器。
• 通过在训练过程中对输入数据进行扰动（例如添加随机噪声）来应用去噪自编码器，迫使网络学习鲁棒、抗噪声的表示。
• 使用均方误差（MSE）损失函数进行反向传播，以最小化原始信号与重建信号之间的重构误差。
• 将预训练浅层自编码器学习到的权重作为完整深层网络的初始化，以提升收敛速度与性能。
• 通过将数据投影到低维潜在空间并解码回原始域，将堆叠自编码器应用于从噪声输入中重建干净信号。
• 采用局部训练策略，即每个自编码器在小范围、局部的数据块上进行训练，以保持地球物理测线中时空连续性。

实验结果

研究问题

• RQ1 堆叠去噪自编码器是否能在不了解底层物理模型的前提下，有效抑制地球物理信号中的随机噪声？
• RQ2 所提出的自编码器架构在地震和测井数据中对缺失或受损道次的重建效果如何？
• RQ3 自编码器的性能在多大程度上依赖于训练数据集的规模和频率成分？
• RQ4 噪声阈值和连续性约束等超参数对重建质量有何影响？
• RQ5 自编码器是否能在去除高频噪声的同时，保留对全局信号解释至关重要的低频分量？

主要发现

• 在基础数学测试案例中，堆叠去噪自编码器成功去除了超过90%的随机噪声，展现出强大的去噪能力。
• 在使用合适正向模型训练后，该方法在SP异常数据中实现了约80%的噪声抑制。
• 自编码器成功重建了地震和测井数据中的缺失道次，显著提升了信号质量与可解释性。
• 更大的训练集和更宽的频率带提高了重建信号的分辨率，减少了细微特征的损失。
• 尽管性能有所提升，但在信号的清洁区域仍引入了部分不希望出现的噪声，表明需要优化损失函数。
• 在合成测井数据中，性能对连续性阈值较为敏感，表明超参数调优对获得最佳结果至关重要。