[论文解读] Self-Supervised Learning based CT Denoising using Pseudo-CT Image Pairs

Dong Kyu Won, Euijin Jung+3 more|arXiv (Cornell University)|Apr 6, 2021

Medical Imaging Techniques and Applications参考文献 21被引用 6

一句话总结

本文提出了一种自监督的CT去噪方法，通过使用预训练噪声模型的集成来生成逼真的伪CT图像对，以模拟低剂量CT（LDCT）噪声。通过使用这些伪图像对迭代优化去噪模型，该方法在无需标注的LDCT/NDCT图像对的情况下，显著提升了多种基线方法的去噪性能，在2016年AAPM大奖赛数据集上取得了最先进结果。

ABSTRACT

Recently, Self-supervised learning methods able to perform image denoising without ground truth labels have been proposed. These methods create low-quality images by adding random or Gaussian noise to images and then train a model for denoising. Ideally, it would be beneficial if one can generate high-quality CT images with only a few training samples via self-supervision. However, the performance of CT denoising is generally limited due to the complexity of CT noise. To address this problem, we propose a novel self-supervised learning-based CT denoising method. In particular, we train pre-train CT denoising and noise models that can predict CT noise from Low-dose CT (LDCT) using available LDCT and Normal-dose CT (NDCT) pairs. For a given test LDCT, we generate Pseudo-LDCT and NDCT pairs using the pre-trained denoising and noise models and then update the parameters of the denoising model using these pairs to remove noise in the test LDCT. To make realistic Pseudo LDCT, we train multiple noise models from individual images and generate the noise using the ensemble of noise models. We evaluate our method on the 2016 AAPM Low-Dose CT Grand Challenge dataset. The proposed ensemble noise model can generate realistic CT noise, and thus our method significantly improves the denoising performance existing denoising models trained by supervised- and self-supervised learning.

研究动机与目标

• 为解决训练鲁棒CT去噪模型时配对LDCT与NDCT图像数据有限的问题。
• 克服自监督学习中使用随机或高斯噪声的局限性，这些噪声无法反映真实CT噪声的特性。
• 开发一种模型无关的框架，通过使用逼真的伪CT图像对来增强现有的监督与自监督去噪方法。
• 通过利用在单个LDCT/NDCT对上训练的噪声模型集成，生成高保真度的伪-LDCT图像。

提出的方法

• 使用可用的LDCT/NDCT对预训练去噪模型，以从LDCT预测NDCT。
• 预训练多个独立的LDCT噪声模型，以估计差异图（NDCT - LDCT），表示CT特有的噪声。
• 通过将噪声模型集成应用于测试LDCT图像，生成伪CT图像对，从而生成逼真的伪-LDCT和伪-NDCT图像。
• 使用生成的伪CT图像对作为自监督学习目标，对去噪模型进行微调。
• 利用噪声模型的集成以提高生成噪声的真实感与多样性，避免对单一噪声模式的过拟合。
• 将该方法应用于现有模型（N2C、N2N、N2V），以证明其在模型无关性上的性能提升。

实验结果

研究问题

• RQ1 使用伪CT图像对进行自监督学习是否能在无需标注LDCT/NDCT对的情况下提升CT去噪性能？
• RQ2 噪声模型的集成是否能生成比随机噪声或高斯噪声更逼真的CT噪声，从而在自监督去噪中表现更优？
• RQ3 所提出的方法是否能以模型无关的方式提升现有监督与自监督去噪模型的性能？
• RQ4 生成的伪-LDCT图像的质量如何影响最终的去噪性能？

主要发现

• 所提出的方法在所有测试的基线模型（N2C、N2N、N2V）中均显著提升了去噪性能，证明了其模型无关性。
• 噪声模型集成优于单个噪声模型和随机噪声（高斯、直方图），生成的噪声更具真实感，更符合实际CT噪声特性。
• 使用噪声模型集成生成的伪CT图像对相比随机噪声生成的图像对，能更好地保留关键CT图像特征并减少伪影。
• 定量结果表明，该方法的PSNR和SSIM评分均高于基线方法，尤其在N2N和N2V等自监督方法中提升最为显著。
• 该方法在2016年AAPM低剂量CT大奖赛数据集上实现了最先进性能，即使在未使用大规模标注数据的情况下亦如此。
• 消融研究证实，高质量伪-LDCT图像的生成对有效的自监督微调至关重要，劣质的伪图像会导致性能下降。