[论文解读] Speckle2Speckle: Unsupervised Learning of Ultrasound Speckle Filtering Without Clean Data

Rüdiger Göbl, Christoph Hennersperger+1 more|arXiv (Cornell University)|Jul 31, 2022

Image Enhancement Techniques被引用 9

一句话总结

本文提出 Speckle2Speckle，一种基于深度学习的超声斑点噪声滤波方法，通过利用同一解剖结构的多个模拟斑点实现，无需使用干净数据进行训练。该方法在合成超声数据上采用类似 Noise2Noise 的无监督学习范式，性能可与最先进的滤波器（如 OBNLM）相媲美，同时速度提升数个数量级，可在 GPU 上实现实时应用。

ABSTRACT

In ultrasound imaging the appearance of homogeneous regions of tissue is subject to speckle, which for certain applications can make the detection of tissue irregularities difficult. To cope with this, it is common practice to apply speckle reduction filters to the images. Most conventional filtering techniques are fairly hand-crafted and often need to be finely tuned to the present hardware, imaging scheme and application. Learning based techniques on the other hand suffer from the need for a target image for training (in case of fully supervised techniques) or require narrow, complex physics-based models of the speckle appearance that might not apply in all cases. With this work we propose a deep-learning based method for speckle removal without these limitations. To enable this, we make use of realistic ultrasound simulation techniques that allow for instantiation of several independent speckle realizations that represent the exact same tissue, thus allowing for the application of image reconstruction techniques that work with pairs of differently corrupted data. Compared to two other state-of-the-art approaches (non-local means and the Optimized Bayesian non-local means filter) our method performs favorably in qualitative comparisons and quantitative evaluation, despite being trained on simulations alone, and is several orders of magnitude faster.

研究动机与目标

• 解决在缺乏干净、真实图像的情况下，训练基于深度学习的超声斑点噪声滤波器的挑战。
• 克服传统斑点滤波器需要手动调参且计算成本高昂的局限性。
• 仅使用模拟数据，实现实时、高性能的超声成像斑点噪声抑制。
• 探索利用同一解剖结构的多个独立斑点实现，无监督学习在医学影像中的可行性。

提出的方法

• 利用逼真的超声模拟生成同一组织结构几何形态的多个独立斑点实现。
• 采用类似 Noise2Noise 的训练范式，使网络从同一场景的两个不同噪声（斑点）版本中学习重建干净图像。
• 使用基于 U-Net 的卷积神经网络架构，通过最小化预测输出与第二个斑点实现之间的 L2 损失进行训练。
• 引入从模拟几何结构中提取的界面图，以指导锐化处理并保留滤波过程中的结构细节。
• 仅在模拟数据上进行训练，避免使用平均图像或真实干净扫描作为监督信号。
• 采用多尺度损失和数据增强策略，以提升模型在真实世界差异下的泛化能力与鲁棒性。

实验结果

研究问题

• RQ1 通过仅使用同一解剖结构在不同斑点模式下的多个实现，深度学习模型是否能够无需任何干净训练数据，有效学习斑点噪声抑制？
• RQ2 与最先进的手工设计滤波器及有监督方法相比，该无监督、模拟训练滤波器在图像质量与计算效率方面的表现如何？
• RQ3 该模型在未进行微调的情况下，从模拟数据泛化到真实体内超声采集数据的程度如何？
• RQ4 额外的几何先验（如界面图）是否能改善滤波输出中组织边界与结构细节的保留？

主要发现

• 所提方法在定性和定量评估中，斑点噪声抑制性能与优化后的贝叶斯非局部均值（OBNLM）滤波器相当。
• 在实验体膜数据上，该方法在背景区域的标准差为 1.61 × 10⁻²，优于 SRAD、中值滤波和双边滤波，接近 NLM（1.49 × 10⁻²）和 OBNLM（1.32 × 10⁻²）。
• 在真实甲状腺成像中，该方法的标准差为 4.54 × 10⁻²，与 OBNLM（4.20 × 10⁻²）和 NLM（4.21 × 10⁻²）相当，表明其对真实数据具有强大的泛化能力。
• 该方法在现代 GPU 上运行时间仅需数十毫秒，显著快于 NLM 和 OBNLM（后者在 CPU 上需数分钟）。
• 尽管训练过程中未使用真实数据，该方法仍能较好地保留组织界面等结构细节，但在恢复肌肉层等细小线性结构方面略逊一筹。
• 在训练中引入界面图可改善组织边界保留，并提升滤波输出的视觉质量。