[论文解读] When AWGN-based Denoiser Meets Real Noises

Yuqian Zhou, Jianbo Jiao+5 more|arXiv (Cornell University)|Apr 6, 2019

Image and Signal Denoising Methods参考文献 46被引用 18

一句话总结

本文提出了一种新颖的自适应策略——像素重排下采样（PD），以使基于AWGN的去噪器在合成噪声上进行训练后，能够有效泛化到真实世界中具有空间相关性和空间异质性的图像噪声。通过在混合AWGN与随机值脉冲噪声（RVIN）上训练深度去噪网络，并应用PD来打破空间相关性，该方法在仅使用合成数据训练的模型中，于DND基准测试中实现了最先进性能，PSNR达到38.40，SSIM达到0.945。

ABSTRACT

Discriminative learning-based image denoisers have achieved promising performance on synthetic noises such as Additive White Gaussian Noise (AWGN). The synthetic noises adopted in most previous work are pixel-independent, but real noises are mostly spatially/channel-correlated and spatially/channel-variant. This domain gap yields unsatisfied performance on images with real noises if the model is only trained with AWGN. In this paper, we propose a novel approach to boost the performance of a real image denoiser which is trained only with synthetic pixel-independent noise data dominated by AWGN. First, we train a deep model that consists of a noise estimator and a denoiser with mixed AWGN and Random Value Impulse Noise (RVIN). We then investigate Pixel-shuffle Down-sampling (PD) strategy to adapt the trained model to real noises. Extensive experiments demonstrate the effectiveness and generalization of the proposed approach. Notably, our method achieves state-of-the-art performance on real sRGB images in the DND benchmark among models trained with synthetic noises. Codes are available at https://github.com/yzhouas/PD-Denoising-pytorch.

研究动机与目标

• 解决合成AWGN与真实世界图像噪声之间的域差距，后者具有空间相关性和通道相关性且存在变异。
• 在训练过程中不使用真实噪声数据的前提下，提升基于AWGN训练的去噪器在真实sRGB图像上的泛化能力。
• 开发一种简单而有效的自适应机制，在去除复杂真实噪声模式的同时保留精细细节。
• 通过仅在合成噪声上训练的模型实现真实图像的盲去噪，避免显式建模真实噪声。
• 证明单一模型可通过可学习的自适应优化策略有效处理多种真实噪声特性。

提出的方法

• 在混合合成AWGN与随机值脉冲噪声（RVIN）上联合训练一个深度全卷积去噪网络，以提升对死像素或过曝像素的鲁棒性。
• 引入一种像素重排下采样（PD）策略，将空间相关性噪声分解为具有空间异质性、像素独立的分量，以近似真实图像的噪声结构。
• 将PD作为初始去噪后的优化步骤，通过可学习的步长和混合因子控制去噪强度。
• 使用噪声估计器预测空间异质性噪声水平，实现在无需真实噪声图的情况下自适应去噪。
• 实施多阶段优化流水线：初始去噪、基于PD的下采样，以及带噪声感知混合的迭代上采样。
• 引入混合因子$k$，实现用户对去噪强度与细节保留之间权衡的灵活控制，从而提升视觉质量和鲁棒性。

实验结果

研究问题

• RQ1 仅在合成AWGN与RVIN噪声上训练的去噪器，能否有效泛化至真实世界中具有空间相关性和空间异质性的图像噪声？
• RQ2 像素重排下采样（PD）在打破真实噪声空间相关性方面，相较于其他自适应策略表现如何？
• RQ3 在真实图像去噪中，步长与混合因子$k$的最优配置为何，可实现去噪与细节保留之间的最佳平衡？
• RQ4 在DND等真实世界基准测试中，该方法是否优于其他仅使用合成数据训练的现有模型？
• RQ5 该PD策略是否可应用于提升其他在合成噪声上训练的现有去噪模型的性能？

主要发现

• 所提方法在DND基准测试中实现了38.40的PSNR与0.945的SSIM，优于所有仅使用合成数据训练的其他模型。
• 使用混合AWGN与RVIN噪声训练的模型在真实夜间噪点照片上表现更优，能更有效地处理死像素与过曝像素，相较仅使用AWGN训练的模型。
• 应用PD策略后，PSNR相比无PD的基线模型提升了超过5.8 dB（从32.60提升至38.40），充分证明了其强大的域自适应能力。
• 消融实验证实，包含优化阶段（DI与Full阶段）的完整流水线能产生最佳视觉质量，相比直接上采样或单步优化，能更有效减少伪影。
• 混合因子$k$可实现对去噪强度的灵活控制：较低的$k$值能保留更多精细细节，而较高的$k$值则能减少纹理区域的过度平滑。
• 该方法在无需真实噪声数据或训练期间显式噪声建模的情况下，对多样化的真实世界噪声模式具有良好的泛化能力。