[论文解读] Unsupervised Image Denoising with Frequency Domain Knowledge

Nahyun Kim, Donggon Jang+3 more|arXiv (Cornell University)|Nov 29, 2021

Image and Signal Denoising Methods参考文献 48被引用 4

一句话总结

本文提出一种基于 GAN 的无监督图像去噪方法，通过频域判别器和频域重建损失引入频域知识，从而在无需成对干净/噪声图像数据的情况下提升去噪性能。通过聚焦于噪声最显著的高频分量，该方法在合成数据集和真实世界数据集上均取得了最先进（SOTA）的性能，优于现有无监督方法，并接近有监督学习的性能表现。

ABSTRACT

Supervised learning-based methods yield robust denoising results, yet they are inherently limited by the need for large-scale clean/noisy paired datasets. The use of unsupervised denoisers, on the other hand, necessitates a more detailed understanding of the underlying image statistics. In particular, it is well known that apparent differences between clean and noisy images are most prominent on high-frequency bands, justifying the use of low-pass filters as part of conventional image preprocessing steps. However, most learning-based denoising methods utilize only one-sided information from the spatial domain without considering frequency domain information. To address this limitation, in this study we propose a frequency-sensitive unsupervised denoising method. To this end, a generative adversarial network (GAN) is used as a base structure. Subsequently, we include spectral discriminator and frequency reconstruction loss to transfer frequency knowledge into the generator. Results using natural and synthetic datasets indicate that our unsupervised learning method augmented with frequency information achieves state-of-the-art denoising performance, suggesting that frequency domain information could be a viable factor in improving the overall performance of unsupervised learning-based methods.

研究动机与目标

• 解决现有无监督图像去噪方法仅依赖空间域信息的局限性，弥补干净图像与噪声图像在频域中关键的统计差异。
• 克服有监督方法对大规模成对干净/噪声数据集的依赖，而此类数据集通常难以获取或成本高昂。
• 利用噪声主要集中于高频带，而语义内容主要存在于低频带的事实，指导去噪过程。
• 提出一种新颖框架，将频域先验融入基于 GAN 的架构中，以提升图像质量与感知合理性。
• 证明频域信息可显著增强无监督去噪性能，使其与有监督方法相媲美。

提出的方法

• 以生成对抗网络（GAN）作为无监督图像去噪的基础架构，其中生成器将噪声图像映射为去噪输出。
• 引入频谱判别器，专门在傅里叶域的高频带中区分干净图像与去噪图像。
• 引入频域重建损失，最小化去噪图像与干净参考图像的傅里叶变换之间的差异。
• 将频域重建损失与循环一致性损失结合，以保持图像内容并提升重建保真度。
• 训练生成器以欺骗频谱判别器，同时最小化频域重建误差，使其专注于去除高频噪声。
• 使用纹理判别器以保留细节与轮廓，提升感知质量与 SSIM，但存在与频域一致性之间的权衡。

实验结果

研究问题

• RQ1 能否有效利用频域信息，特别是高频带的差异，来提升无监督图像去噪性能？
• RQ2 将频谱判别与频域重建损失整合进 GAN 框架，是否能优于仅基于空间域的学习？
• RQ3 使用频域先验的无监督方法能否实现与基于成对数据训练的有监督方法相当的性能？
• RQ4 频谱判别器与频域重建损失在单独与联合作用下，如何影响空间域与频域保真度之间的平衡？
• RQ5 所提出方法对真实世界噪声模式以及合成的加性白高斯噪声是否具有鲁棒性？

主要发现

• 在 SIDD 数据集上，所提方法实现 PSNR 34.30 dB 与 SSIM 0.9334，优于所有无监督基线方法，并接近有监督性能。
• 仅使用频谱判别器即可将 PSNR 提升 0.2 dB，并将 LFD（频域距离）从 6.5955 降低至 6.5649，证实其在高频带去噪中的有效性。
• 在消融实验中，加入频域重建损失后，LFD 降低至 6.5795，PSNR 提升至 26.03 dB，SSIM 提升至 0.8375，表明其在平衡空间域与频域重建中的关键作用。
• 纹理判别器使 SSIM 提升 0.0041（至 0.8375），但略微增加 LFD，表明在保留空间细节与频域准确性之间存在权衡。
• 包含所有组件（频谱判别器、纹理判别器与频域重建损失）的完整模型实现最佳整体性能，具有最低的 LFD 与最高的 PSNR/SSIM。
• 定性结果表明，所提方法能有效去除强噪声，同时保留色彩与精细纹理，在视觉质量上优于 CBM3D、RedNet-30、DIP 与 LIR。