[论文解读] Suppression of Correlated Noise with Similarity-based Unsupervised Deep Learning

Chuang Niu, Mengzhou Li+5 more|arXiv (Cornell University)|Nov 6, 2020

Image and Signal Denoising Methods被引用 8

一句话总结

本文提出 Noise2Sim，一种新颖的无监督深度学习方法，通过利用子图像之间的相似性，在无需成对干净-噪声数据的情况下，抑制医学影像中的独立噪声与相关噪声。该方法在低剂量CT和光子计数CT上的性能与监督方法相当或更优，在温和条件下与监督学习具有理论等价性。

ABSTRACT

Image denoising is a prerequisite for downstream tasks in many fields. Low-dose and photon-counting computed tomography (CT) denoising can optimize diagnostic performance at minimized radiation dose. Supervised deep denoising methods are popular but require paired clean or noisy samples that are often unavailable in practice. Limited by the independent noise assumption, current unsupervised denoising methods cannot process correlated noises as in CT images. Here we propose the first-of-its-kind similarity-based unsupervised deep denoising approach, referred to as Noise2Sim, that works in a nonlocal and nonlinear fashion to suppress not only independent but also correlated noises. Theoretically, Noise2Sim is asymptotically equivalent to supervised learning methods under mild conditions. Experimentally, Nosie2Sim recovers intrinsic features from noisy low-dose CT and photon-counting CT images as effectively as or even better than supervised learning methods on practical datasets visually, quantitatively and statistically. Noise2Sim is a general unsupervised denoising approach and has great potential in diverse applications.

研究动机与目标

• 为解决现有无监督去噪方法假设噪声独立但无法处理CT图像中相关噪声的局限性。
• 开发一种通用的无监督深度学习框架，可有效去除具有相关噪声的图像，如低剂量CT和光子计数CT中的图像。
• 建立理论基础，证明在温和条件下，所提方法与监督学习渐近等价。
• 在真实世界的3D低剂量CT和4D光子计数CT数据集上，展示该方法的实际有效性。
• 提供公开可用的代码库和数据集，以支持可复现性与更广泛的应用。

提出的方法

• Noise2Sim利用从单个噪声图像中提取的内在配准子图像，以无监督方式训练深度神经网络。
• 该方法通过识别并利用图像中重复或结构相似的图像块，实现非局部相似性。
• 它将去噪任务形式化为自监督学习问题，即利用相似邻域预测每个图像块，采用深度卷积神经网络实现。
• 训练目标最小化预测结果与原始噪声块之间的重建损失，利用相似块共享相同潜在干净信号的事实。
• 该方法具有非局部性和非线性特性，能够捕捉超越局部平均的复杂噪声结构与模式。
• 理论分析证明，在温和条件下，Noise2Sim与监督学习的 Noise2Clean 训练渐近等价。

实验结果

研究问题

• RQ1 无监督深度学习方法能否在无需成对干净-噪声数据的情况下，有效抑制医学CT图像中的相关噪声？
• RQ2 Noise2Sim在低剂量CT和光子计数CT数据集上与监督方法及现有无监督去噪方法相比，性能如何？
• RQ3 利用图像块之间的相似性，在多大程度上提升了去噪性能，相较于局部或独立噪声假设？
• RQ4 所提无监督方法在温和条件下是否与监督学习理论等价？
• RQ5 Noise2Sim能否泛化至具有独立噪声的自然图像？与最先进无监督方法相比表现如何？

主要发现

• Noise2Sim在实际低剂量CT和光子计数CT数据集上的去噪性能，在视觉、定量和统计指标上均与或优于监督学习方法。
• 该方法能有效抑制CT图像中的相关噪声，克服了现有无监督方法因假设噪声独立而失效的局限性。
• 在3D低剂量CT和4D光子计数CT数据集上，Noise2Sim始终优于传统去噪方法和最先进的无监督深度学习网络。
• 理论分析证实，在温和条件下，Noise2Sim与监督学习渐近等价，验证了其学习能力。
• 在具有独立噪声的自然图像上进行的大量实验表明，Noise2Sim与最先进无监督方法（如 Noise2Void 和 Noise2Self）相比表现具有竞争力。
• 该方法具有通用性，适用于CT以外的多种成像应用，且已公开提供代码与数据集以支持可复现性。