[论文解读] Unsupervised Image Denoising in Real-World Scenarios via Self-Collaboration Parallel Generative Adversarial Branches

Xin Lin, Chao Ren+3 more|arXiv (Cornell University)|Aug 13, 2023

Image and Signal Denoising Methods被引用 4

一句话总结

该论文提出 SCPGabNet，一种用于无监督真实世界图像去噪的自协同并行生成对抗网络，通过在噪声提取与去噪循环中迭代替换较弱的去噪器为更强的去噪器，提升性能而不增加推理复杂度。该方法生成更优的合成干净-噪声图像对，在 SIDD 和 DND 基准上取得最先进结果，相比基线模型实现 1.86dB 的 PSNR 提升。

ABSTRACT

Deep learning methods have shown remarkable performance in image denoising, particularly when trained on large-scale paired datasets. However, acquiring such paired datasets for real-world scenarios poses a significant challenge. Although unsupervised approaches based on generative adversarial networks offer a promising solution for denoising without paired datasets, they are difficult in surpassing the performance limitations of conventional GAN-based unsupervised frameworks without significantly modifying existing structures or increasing the computational complexity of denoisers. To address this problem, we propose a SC strategy for multiple denoisers. This strategy can achieve significant performance improvement without increasing the inference complexity of the GAN-based denoising framework. Its basic idea is to iteratively replace the previous less powerful denoiser in the filter-guided noise extraction module with the current powerful denoiser. This process generates better synthetic clean-noisy image pairs, leading to a more powerful denoiser for the next iteration. This baseline ensures the stability and effectiveness of the training network. The experimental results demonstrate the superiority of our method over state-of-the-art unsupervised methods.

研究动机与目标

• 解决无配对训练数据下真实世界图像去噪的挑战。
• 克服现有基于 GAN 的无监督去噪框架在无结构修改或更高复杂度下无法超越初始训练性能的局限。
• 开发一种自协同策略，利用合成干净-噪声图像对实现模型的迭代自我增强。
• 设计一个稳定且高效的基线框架，结合‘自合成’与‘无配对合成’约束，实现鲁棒训练。

提出的方法

• 提出一种滤波引导的噪声提取（NE）模块，从重建输入和噪声输入中生成合成噪声图像。
• 引入一种并行生成对抗分支框架，包含两个互补分支：一个用于自合成，一个用于无配对合成，提升训练稳定性和多样性。
• 采用一种自协同（SC）策略，通过迭代地用当前更强的去噪器替换先前的去噪器，以优化合成数据并提升性能。
• 采用两阶段训练过程：第一阶段使用 112 的感受野大小和 8 的批量大小，第二阶段使用 128 的感受野大小和 4 的批量大小，学习率均固定为 1e-4。
• 利用 NE 模块从噪声图像中提取噪声，利用去噪器（DN）重建干净图像，形成 R-B（替换-增强）迭代循环。
• 将 SC 策略应用于多种去噪器（如 DnCNN、UNet、DeamNet、DBSNL），验证其在不同架构间的可迁移性。

实验结果

研究问题

• RQ1 自协同机制是否能在不增加推理复杂度的前提下，提升基于 GAN 的无监督图像去噪性能？
• RQ2 所提出的具有互补自合成与无配对合成约束的并行生成对抗分支框架，在稳定训练与提升性能方面效果如何？
• RQ3 自协同策略在多种去噪网络上对真实世界图像去噪基准的性能提升程度如何？
• RQ4 通过 SC 策略对合成干净-噪声图像对进行迭代优化，是否能在多轮迭代中持续带来一致且可量化的 PSNR 提升？
• RQ5 SC 策略是否可在不同网络架构和数据集上实现泛化？

主要发现

• 所提出的 SCPGabNet 在 SIDD 基准上相比基线模型 PGabNet 实现 1.86dB 的 PSNR 提升，证明了自协同策略的有效性。
• SC 策略的第一轮迭代即带来超过 0.5dB 的 PSNR 提升，后续迭代收益递减，表明性能快速演化。
• 将 SC 策略应用于 DnCNN 在 SIDD 验证集上实现 0.96dB 的 PSNR 提升与 0.0085 的 SSIM 提升，证实其可迁移性。
• UNet 和 DBSNL 分别获得 1.58dB 和 1.52dB 的 PSNR 提升，表明该策略在不同架构中均带来一致的性能增益。
• 该方法在 SIDD 和 DND 基准上均达到最先进性能，显著优于现有无监督方法。
• 消融实验证实，结合互补约束的并行分支设计显著提升了训练稳定性和最终性能。