[论文解读] Toward Convolutional Blind Denoising of Real Photographs

Shi Guo, Zifei Yan+3 more|arXiv (Cornell University)|Jul 12, 2018

Image and Signal Denoising Methods参考文献 60被引用 62

一句话总结

CBDNet 在现实照片上学习盲去噪，使用现实的 Poisson-Gaussian 噪声模型加上 ISP，使用合成噪声与真实噪声图像进行训练，并嵌入的噪声估计子网络带有非对称损失以实现交互式去噪。

ABSTRACT

While deep convolutional neural networks (CNNs) have achieved impressive success in image denoising with additive white Gaussian noise (AWGN), their performance remains limited on real-world noisy photographs. The main reason is that their learned models are easy to overfit on the simplified AWGN model which deviates severely from the complicated real-world noise model. In order to improve the generalization ability of deep CNN denoisers, we suggest training a convolutional blind denoising network (CBDNet) with more realistic noise model and real-world noisy-clean image pairs. On the one hand, both signal-dependent noise and in-camera signal processing pipeline is considered to synthesize realistic noisy images. On the other hand, real-world noisy photographs and their nearly noise-free counterparts are also included to train our CBDNet. To further provide an interactive strategy to rectify denoising result conveniently, a noise estimation subnetwork with asymmetric learning to suppress under-estimation of noise level is embedded into CBDNet. Extensive experimental results on three datasets of real-world noisy photographs clearly demonstrate the superior performance of CBDNet over state-of-the-arts in terms of quantitative metrics and visual quality. The code has been made available at https://github.com/GuoShi28/CBDNet.

研究动机与目标

• 促使对真实照片的去噪超越以 AWGN 为核心模型的研究，原因是现实世界中存在复杂的噪声与 ISP 效应。
• 提出一个包含相机内处理的现实 Poisson-Gaussian 噪声模型，用以合成训练数据。
• 开发 CBDNet，包含一个噪声估计子网络和一个非盲去噪网络，以处理信号相关噪声。
• 引入非对称损失以提升对真实噪声的泛化能力，并通过噪声水平调整实现交互式去噪。

提出的方法

• 将真实世界噪声建模为具有信号相关和平稳分量的异方差高斯噪声，并加上 ISP 效应。
• 构建 CBDNet，包含两个子网络：CNN_E 用于噪声水平估计，CNN_D（一个 U-Net）用于利用图像和估计的噪声图进行去噪。
• 使用通过现实噪声模型生成的合成噪声图像和真实的噪声-清洁对混合进行训练，训练过程中交替批次。
• 对噪声估计使用非对称损失，对低估噪声的惩罚更强，外加对估计噪声图进行平滑的 TV 损失。
• 通过在送入去噪器之前缩放估计的噪声图，实现交互式去噪。
• 可选地在评估定性结果时引入感知损失以提升视觉质量。

实验结果

研究问题

• RQ1 通过采用现实的噪声模型，如何在 AWGN 基础训练之外改善对真实照片的去噪？
• RQ2 在训练时同时加入合成噪声和真实噪声图像，是否能提高对现实世界噪声的泛化？
• RQ3 是否可以通过一个具有非对称损失的专用噪声估计子网络来提升鲁棒性并实现对真实噪声图的交互式去噪？
• RQ4 包含相机内处理步骤（ISP）对真实图像去噪性能有何影响？

主要发现

• CBDNet 在真实世界噪声数据集上，在 PSNR/SSIM 和视觉质量方面优于最新方法。
• 将 Poisson-Gaussian 与 ISP 一起建模的噪声显著提升去噪收益（特别是相对于基于 AWGN 的模型）。
• 在训练中结合合成和真实噪声图像在真实数据上带来 PSNR 提升（在 DND 上报道为 0.3–0.5 dB）。
• 对噪声估计的非对称损失有助于对未知真实噪声的泛化，特别是对于低估误差。
• 通过缩放估计的噪声图实现的交互式去噪能力，允许用户控制纹理和细节的恢复。