[论文解读] Pushing the Limit of Unsupervised Learning for Ultrasound Image Artifact Removal

Shujaat Khan, Jaeyoung Huh+1 more|arXiv (Cornell University)|Jun 26, 2020

Image and Signal Denoising Methods参考文献 48被引用 4

一句话总结

本文提出一种基于最优传输驱动循环生成对抗网络（OT-cycleGAN）的无监督深度学习方法，用于超声图像伪影去除，可在无需成对训练数据的情况下实现高质量图像重建。该方法使用单一、通用训练模型，针对多种伪影类型（斑点噪声、方块伪影、采样受限及平面到聚焦B型模式转换）实现接近有监督方法的性能，且推理速度极快（7.92 ms/图像）。

ABSTRACT

Ultrasound (US) imaging is a fast and non-invasive imaging modality which is widely used for real-time clinical imaging applications without concerning about radiation hazard. Unfortunately, it often suffers from poor visual quality from various origins, such as speckle noises, blurring, multi-line acquisition (MLA), limited RF channels, small number of view angles for the case of plane wave imaging, etc. Classical methods to deal with these problems include image-domain signal processing approaches using various adaptive filtering and model-based approaches. Recently, deep learning approaches have been successfully used for ultrasound imaging field. However, one of the limitations of these approaches is that paired high quality images for supervised training are difficult to obtain in many practical applications. In this paper, inspired by the recent theory of unsupervised learning using optimal transport driven cycleGAN (OT-cycleGAN), we investigate applicability of unsupervised deep learning for US artifact removal problems without matched reference data. Experimental results for various tasks such as deconvolution, speckle removal, limited data artifact removal, etc. confirmed that our unsupervised learning method provides comparable results to supervised learning for many practical applications.

研究动机与目标

• 解决真实临床环境中缺乏成对高质量超声图像用于有监督训练的问题。
• 克服传统滤波与基于模型方法的局限性，后者存在计算成本高和模型不一致的问题。
• 开发一种稳健、可泛化的无监督深度学习框架，用于多种超声伪影去除任务，且无需匹配的参考数据。
• 通过最优传输理论验证所学习的图像增强并非仅表面美化，而是真实反映分布改善。
• 实现在低成本、便携式或快速成像系统中的实际部署，这些场景下高端参考扫描不可行。

提出的方法

• 采用最优传输驱动的循环生成对抗网络（OT-cycleGAN）框架，为从噪声图像分布到清洁图像分布的映射提供理论基础坚实的无监督学习机制。
• 在一个采集模式（如平面波或子采样RF）的低质量超声图像上训练单一通用模型，并将来自不同解剖区域或成像条件的高质量图像作为目标域。
• 利用带最优传输的循环一致性损失，确保图像转换过程中的结构与分布保真度，最大限度减少伪影引入。
• 使用单一、一次性训练的模型，实现对多种任务的通用处理——包括去卷积、斑点噪声去除、有限数据伪影抑制——覆盖不同的加速因子（SLA至6-MLA）和子采样率。
• 通过高效的网络设计优化推理速度，实现每张图像平均重建时间7.92 ms，适用于实时应用。
• 通过在体数据和组织模拟体模上的验证，评估在不同成像条件下结构保持性和准确性。

实验结果

研究问题

• RQ1 无监督深度学习结合OT-cycleGAN是否能在无需成对训练数据的情况下，实现与有监督方法相当的伪影去除性能？
• RQ2 OT-cycleGAN框架是否能确保图像质量提升并非仅视觉上的伪影，而是真实反映向清洁图像分布的转移？
• RQ3 单一、通用训练的模型是否能有效处理多种超声伪影类型——包括斑点噪声、方块伪影和采样受限问题——在不同成像协议下？
• RQ4 该方法在不同加速因子和子采样率下的定量指标（如GCNR）和视觉质量表现如何？
• RQ5 该方法是否对解剖变异具有鲁棒性，能否在不引入虚假特征的前提下保留细微结构？

主要发现

• 所提出的无监督OT-cycleGAN方法在所有MLA加速因子（SLA至6-MLA）下平均获得0.1372的GCNR增益，显著提升了图像信噪比。
• 对于子采样RF数据，无监督模型在1×子采样下达到11.06 dB的CR（信噪比），接近有监督基线在1×子采样下的9.80 dB性能。
• 该方法在所有测试的加速因子（SLA至6-MLA）下均保持一致性能，无需重新训练，展现出强大的泛化能力和鲁棒性。
• 图像重建时间平均为7.92 ms/张，适用于临床场景（如超声心动图）的实时应用。
• 在体模研究中，该方法准确恢复了结构细节，但在高加速因子（如6-MLA）下性能略有下降，此时方块伪影仍较明显。
• 视觉与定量结果共同证实，增强效果并非表面美化：该方法有效保留了组织结构，并在多种成像条件下显著减少了斑点噪声与方块伪影。