[论文解读] Variational Denoising Network: Toward Blind Noise Modeling and Removal

Zongsheng Yue, Hongwei Yong+3 more|arXiv (Cornell University)|Aug 29, 2019

Image and Signal Denoising Methods被引用 212

一句话总结

本文提出 Variational Denoising Network (VDN)，一种贝叶斯变分推断框架，能够从单幅噪声图像联合估计潜在的干净图像和非独立同分布的噪声分布，用于盲去噪，系统由 D-Net 和 S-Net 实现。

ABSTRACT

Blind image denoising is an important yet very challenging problem in computer vision due to the complicated acquisition process of real images. In this work we propose a new variational inference method, which integrates both noise estimation and image denoising into a unique Bayesian framework, for blind image denoising. Specifically, an approximate posterior, parameterized by deep neural networks, is presented by taking the intrinsic clean image and noise variances as latent variables conditioned on the input noisy image. This posterior provides explicit parametric forms for all its involved hyper-parameters, and thus can be easily implemented for blind image denoising with automatic noise estimation for the test noisy image. On one hand, as other data-driven deep learning methods, our method, namely variational denoising network (VDN), can perform denoising efficiently due to its explicit form of posterior expression. On the other hand, VDN inherits the advantages of traditional model-driven approaches, especially the good generalization capability of generative models. VDN has good interpretability and can be flexibly utilized to estimate and remove complicated non-i.i.d. noise collected in real scenarios. Comprehensive experiments are performed to substantiate the superiority of our method in blind image denoising.

研究动机与目标

• 动机与解决现实世界噪声非i.i.d.且难以预先定义的盲图像去噪问题。
• 提出一个完整的贝叶斯模型，将干净图像和逐像素噪声方差作为潜在变量处理。
• 开发一个变分推断框架，给出鲁棒推断和噪声估计的显式后验。
• 展示对超出训练数据的复杂噪声分布的广泛泛化能力。

提出的方法

• 将 y_i 表述为 y_i ~ N(z_i, sigma_i^2)，使用非独立同分布的逐像素高斯噪声。
• 假设 z_i ~ N(x_i, epsilon_0^2)，以模拟干净图像 x 作为先验。
• 将 sigma_i^2 ~ IG(p^2/2 - 1, p^2 xi_i/2) 其中 xi_i 来自高斯滤波的方差图。
• 采用变分后验 q(z|y) 和 q(sigma^2|y)，由 D-Net 和 S-Net 预测 mu_i, m_i^2, alpha_i, beta_i。
• 最大化 log p(y) 的可处理变分下界，导出端到端的训练目标。
• 在测试时，输出干净图像为来自 D-Net 的 mu，以及来自 S-Net 的推断噪声方差。

实验结果

研究问题

• RQ1 在不事先知道精确噪声模型的情况下，是否存在一个统一的贝叶斯框架能够同时去噪和估计空间变异的噪声？
• RQ2 与传统 CNN 去噪器相比，具有显式后验形式的变分方法在对未见过的非i.i.d.噪声的泛化能力上是否有所提升？
• RQ3 D-Net/S-Net 架构从单幅噪声图像中恢复潜在干净图像和逐像素噪声方差的能力有多高？
• RQ4 显式的噪声建模是否提供可解释的噪声图并在合成数据与真实世界数据集上实现鲁棒去噪？

主要发现

• VDN 在多组测试集的合成非i.i.d.高斯噪声上优于竞品方法。
• 在非i.i.d.噪声下，VDN 的 PSNR 高于 FFDNet，并且对训练噪声偏差的过拟合较少。
• 在实际基准数据集 SIDD 和 DND 上，VDN 在对混合数据集进行训练后获得具竞争力或更优的结果。
• S-Net 能预测出一个可信的噪声方差图，与图像内容以及噪声的真实感相关。
• 该框架在 AWGN 下保持鲁棒，并通过推断的噪声方差统计实现可解释性。
• 若 epsilon_0^2 设置得非常小，将产生退化的 MSE 损失，解释了纯判别模型的过拟合现象。