[论文解读] Noisy-As-Clean: Learning Unsupervised Denoising from the Corrupted Image.

Jun Xu, Yuan Huang+4 more|arXiv (Cornell University)|Jun 17, 2019

Image and Signal Denoising Methods参考文献 28被引用 11

一句话总结

本文提出 Noisy-As-Clean (NAC)，一种自监督去噪方法，通过将噪声图像视为目标并引入合成的、相似的噪声进行增强，仅使用受损图像进行网络训练。该方法在合成噪声和真实噪声上均达到或优于监督方法和先前的无监督方法的性能，有效弥合了域差距，且无需使用干净参考图像对。

ABSTRACT

Supervised deep networks have achieved promisingperformance on image denoising, by learning image priors andnoise statistics on plenty pairs of noisy and images. Unsupervised denoising networks are trained with only noisy images. However, for an unseen corrupted image, both supervised andunsupervised networks ignore either its particular image prior, the noise statistics, or both. That is, the networks learned from external images inherently suffer from a domain gap problem: the image priors and noise statistics are very different between the training and test images. This problem becomes more clear when dealing with the signal dependent realistic noise. To circumvent this problem, in this work, we propose a novel Noisy-As-Clean (NAC) strategy of training self-supervised denoising networks. Specifically, the corrupted test image is directly taken as the clean target, while the inputs are synthetic images consisted of this corrupted image and a second and similar corruption. A simple but useful observation on our NAC is: as long as the noise is weak, it is feasible to learn a self-supervised network only with the corrupted image, approximating the optimal parameters of a supervised network learned with pairs of noisy and images. Experiments on synthetic and realistic noise removal demonstrate that, the DnCNN and ResNet networks trained with our self-supervised NAC strategy achieve comparable or better performance than the original ones and previous supervised/unsupervised/self-supervised networks. The code is publicly available at this https URL.

研究动机与目标

• 解决由于训练数据与测试数据之间图像先验和噪声统计不匹配所导致的图像去噪领域差距问题。
• 实现无需依赖成对的噪声-干净图像数据的去噪网络有效自监督训练。
• 提升在真实、信号相关噪声上的性能，此类噪声下传统监督和无监督方法因分布偏移而表现不佳。
• 开发一种仅依赖受损测试图像的训练策略，避免引入外部数据分布。

提出的方法

• 该方法在训练过程中将输入的噪声图像视为目标干净图像，从而将其作为自监督目标使用。
• 通过在原始噪声图像上叠加第二层相似的噪声来生成合成噪声，构成输入。
• 网络被训练以从双重污染的输入中重建原始噪声图像，通过这种自监督机制学习去除噪声。
• 该方法依赖于弱噪声下网络可近似于在成对数据上训练的监督模型最优参数的假设。
• 采用简单的残差网络或 DnCNN 架构，通过标准 L2 或类似重建损失最小化训练损失。
• 通过利用噪声污染的结构相似性，该方法可适用于合成噪声和真实世界噪声，包括信号相关噪声。

实验结果

研究问题

• RQ1 仅在受损图像上进行训练的自监督去噪网络能否实现与监督方法相当的性能？
• RQ2 Noisy-As-Clean 策略是否能有效缓解因图像先验和噪声统计不匹配导致的领域差距？
• RQ3 在真实噪声上，NAC 训练的网络与监督、无监督及先前自监督去噪方法相比性能如何？
• RQ4 当应用于更具挑战性的信号相关噪声时，NAC 方法是否具有鲁棒性？
• RQ5 网络是否能在无需干净参考数据的情况下泛化到未见过的受损图像？

主要发现

• NAC 方法在合成噪声和真实世界噪声基准测试中，性能达到或优于原始监督 DnCNN 和 ResNet 网络。
• 在 BSD100 和 Urban100 数据集上，NAC 训练的模型在 PSNR 和 SSIM 指标上均优于以往的自监督和无监督去噪方法。
• 该方法在未见过的真实噪声模式（包括具有信号相关特性的噪声）上表现出强大的泛化能力。
• 性能提升归因于通过自监督 NAC 目标有效对齐了图像先验与噪声统计。
• 该方法消除了对成对噪声-干净数据的需求，同时保持或提升了去噪质量，该结论已在多个数据集和噪声类型上得到验证。
• 代码已公开发布，支持可复现性，并推动自监督图像去噪领域的进一步研究。