[论文解读] Semi-Supervised Segmentation of Salt Bodies in Seismic Images using an Ensemble of Convolutional Neural Networks

Yauhen Babakhin, Artsiom Sanakoyeu+1 more|arXiv (Cornell University)|Apr 9, 2019

Seismic Imaging and Inversion Techniques参考文献 50被引用 9

一句话总结

该论文提出了一种半监督深度学习方法，用于地震图像中的盐体分割，采用U-ResNet34和U-ResNeXt50模型的集成，通过在无标签数据上进行迭代自训练进行训练。通过利用基于置信度的伪标签和集成平均以减少误差放大，该方法在TGS盐体识别挑战赛中取得了最先进性能，以0.8964的私有测试mAP排名第一，参赛团队总数为3,234支。

ABSTRACT

Seismic image analysis plays a crucial role in a wide range of industrial applications and has been receiving significant attention. One of the essential challenges of seismic imaging is detecting subsurface salt structure which is indispensable for identification of hydrocarbon reservoirs and drill path planning. Unfortunately, exact identification of large salt deposits is notoriously difficult and professional seismic imaging often requires expert human interpretation of salt bodies. Convolutional neural networks (CNNs) have been successfully applied in many fields, and several attempts have been made in the field of seismic imaging. But the high cost of manual annotations by geophysics experts and scarce publicly available labeled datasets hinder the performance of the existing CNN-based methods. In this work, we propose a semi-supervised method for segmentation (delineation) of salt bodies in seismic images which utilizes unlabeled data for multi-round self-training. To reduce error amplification during self-training we propose a scheme which uses an ensemble of CNNs. We show that our approach outperforms state-of-the-art on the TGS Salt Identification Challenge dataset and is ranked the first among the 3234 competing methods.

研究动机与目标

• 解决水碳氢化合物勘探中盐体分割任务因标注数据有限带来的挑战。
• 通过利用大量无标签地震数据，减少对昂贵专家标注的依赖。
• 在半监督深度学习的迭代自训练过程中，减轻误差放大问题。
• 通过集成学习和多轮伪标签生成，提升分割性能。
• 在TGS盐体识别挑战赛数据集上实现最先进结果。

提出的方法

• 在K轮迭代中应用自训练，每轮在标注数据和无标签数据的置信度预测伪标签上重新训练模型。
• 采用两种不同CNN架构——U-ResNet34和U-ResNeXt50的集成，以提高鲁棒性并减少误差传播。
• 通过集成模型的平均投票生成伪标签，提升无标签数据上预测标签的可靠性。
• 每轮从头开始重新训练模型，并重新计算所有伪标签，以避免误差累积。
• 在编码器和解码器模块后集成scSE模块，并使用特征金字塔注意力（FPA）模块以增强特征表示。
• 在最终分割预测前，将多尺度解码器特征拼接为超列，再通过两层卷积层进行处理。

实验结果

研究问题

• RQ1 当标注数据稀缺时，使用伪标签的迭代自训练能否显著提升分割性能？
• RQ2 在半监督深度学习的地震图像分割任务中，集成学习在自训练过程中如何缓解误差放大？
• RQ3 无标签地震数据在超越监督预训练之外，能在多大程度上提升模型泛化能力？
• RQ4 结合不同架构（U-ResNet34和U-ResNeXt50）是否能带来优于单模型方法的性能？
• RQ5 模型集成策略（如快照平均和k折训练）对最终分割精度有何影响？

主要发现

• 所提方法在TGS盐体识别挑战赛中取得了0.8964的私有测试mAP，使团队在3,234支参赛队伍中排名第一。
• 经过三轮自训练后，集成模型在第二轮中mAP提升了0.6%，第三轮中又提升了额外0.2%，表明性能持续提升。
• 第二轮和第三轮模型的集成使mAP额外提升了0.1%，使团队在排行榜上从第12名跃升至第10名。
• 仅使用测试时增强（test-time augmentation）便使mAP相比基线单模型推理提升了0.6%。
• 在k折数据划分上进行训练，以及使用多个快照，分别使mAP提升了0.6%和0.4%，表明模型多样性带来了显著增益。
• 仅训练200个周期的模型已达到0.8834的mAP，进一步训练仅带来0.1%的提升，表明性能趋于饱和——凸显了利用无标签数据进行自训练的价值。