[论文解读] Noise2Score: Tweedie's Approach to Self-Supervised Image Denoising without Clean Images

Kwanyoung Kim, Jong Chul Ye|arXiv (Cornell University)|Jun 13, 2021

Image and Signal Denoising Methods参考文献 30被引用 32

一句话总结

Noise2Score 通过使用 Tweedie’s formula 和 score function estimation 来统一自监督图像去噪，以去噪遭受指数族噪声污染而无需干净参考的图像。

ABSTRACT

Recently, there has been extensive research interest in training deep networks to denoise images without clean reference. However, the representative approaches such as Noise2Noise, Noise2Void, Stein's unbiased risk estimator (SURE), etc. seem to differ from one another and it is difficult to find the coherent mathematical structure. To address this, here we present a novel approach, called Noise2Score, which reveals a missing link in order to unite these seemingly different approaches. Specifically, we show that image denoising problems without clean images can be addressed by finding the mode of the posterior distribution and that the Tweedie's formula offers an explicit solution through the score function (i.e. the gradient of log likelihood). Our method then uses the recent finding that the score function can be stably estimated from the noisy images using the amortized residual denoising autoencoder, the method of which is closely related to Noise2Noise or Nose2Void. Our Noise2Score approach is so universal that the same network training can be used to remove noises from images that are corrupted by any exponential family distributions and noise parameters. Using extensive experiments with Gaussian, Poisson, and Gamma noises, we show that Noise2Score significantly outperforms the state-of-the-art self-supervised denoising methods in the benchmark data set such as (C)BSD68, Set12, and Kodak, etc.

研究动机与目标

• 在无法获得干净参考时，激发对自监督去噪的需求。
• 提出一个贝叶斯框架，使用 Tweedie’s formula 将后验均值去噪与分数函数联系起来。
• 证明使用 AR-DAE 可以从带噪数据稳定估计分数函数，从而实现通用训练。
• 展示在 Gaussian、Poisson 和 Gamma 噪声下的普适性，并讨论盲参数场景/无噪声参数。

提出的方法

• 将去噪公式化为估计分数函数 l'(y) = ∇y log p(y) 并应用 Tweedie’s formula 以获得后验均值。
• 通过 Table 1 的结果推导高斯、泊松和伽玛指数族噪声的闭式去噪表达式。
• 使用 amortized residual denoising autoencoder (AR-DAE) 来估计分数函数，以实现稳定的分数估计。
• 使用 DAE/AR-DAE 目标训练网络，该目标在 σa^2 或 RΘ(y) 上给出显式的分数估计 FΘ*(y) − y。
• 对每种噪声模型，从估计的分数经过后处理的 Tweedie 步骤获得去噪图像。
• 强调同一网络训练在不同噪声类型下均可实现，从而支持盲参数处理。

实验结果

研究问题

• RQ1 Tweedie’s formula 是否能够在指数族噪声中提供一个统一的、无干净数据的去噪框架？
• RQ2 如何从带噪输入中准确且稳定地估计分数函数，以实现无干净图像的去噪？
• RQ3 单个用 AR-DAE 训练的神经网络是否能在高斯、泊松和伽玛噪声及未知参数下实现泛化？
• RQ4 将分数估计与 Tweedie 后处理步骤解耦的理论与实践好处是什么？
• RQ5 在已知和未知噪声参数下，Noise2Score 相对于现有自监督方法的表现如何？

主要发现

• Noise2Score 通过 Tweedie’s formula 与分数函数统一了针对指数族噪声的自监督去噪。
• AR-DAE 提供一个稳定、通用的分数估计器，单一网络即可在不同噪声模型下工作。
• 该方法在 Gaussian、Poisson、Gamma 噪声下，在 BSD68、Set12、CBSD68 和 Kodak 数据集上实现竞争力或更优的 PSNR。
• 同一训练网络可通过在线参数估计适应盲噪声设置，避免针对不同噪声水平的重新训练。
• Noise2Score 相较于 Noise2Void、Noise2Self 和 SURE 的优势在于提供一个通用、与模型无关的框架，并且后处理针对噪声类型进行定制。