[论文解读] Spatially Adaptive Self-Supervised Learning for Real-World Image Denoising

Junyi Li, Zhilu Zhang+5 more|arXiv (Cornell University)|Mar 27, 2023

Image and Signal Denoising Methods被引用 4

一句话总结

本文提出一种用于真实世界sRGB图像去噪的空间自适应自监督学习框架，通过盲邻域网络（BNN）处理平坦区域，通过局部感知网络（LAN）处理纹理区域。通过从平坦区域的非相邻像素中提取噪声不变的监督信号，从纹理区域的相邻像素中提取内容感知的监督信号，该方法在SIDD和DND数据集上实现了最先进性能，且无需像素重排下采样，避免了混叠伪影，同时提升了定量指标与感知质量。

ABSTRACT

Significant progress has been made in self-supervised image denoising (SSID) in the recent few years. However, most methods focus on dealing with spatially independent noise, and they have little practicality on real-world sRGB images with spatially correlated noise. Although pixel-shuffle downsampling has been suggested for breaking the noise correlation, it breaks the original information of images, which limits the denoising performance. In this paper, we propose a novel perspective to solve this problem, i.e., seeking for spatially adaptive supervision for real-world sRGB image denoising. Specifically, we take into account the respective characteristics of flat and textured regions in noisy images, and construct supervisions for them separately. For flat areas, the supervision can be safely derived from non-adjacent pixels, which are much far from the current pixel for excluding the influence of the noise-correlated ones. And we extend the blind-spot network to a blind-neighborhood network (BNN) for providing supervision on flat areas. For textured regions, the supervision has to be closely related to the content of adjacent pixels. And we present a locally aware network (LAN) to meet the requirement, while LAN itself is selectively supervised with the output of BNN. Combining these two supervisions, a denoising network (e.g., U-Net) can be well-trained. Extensive experiments show that our method performs favorably against state-of-the-art SSID methods on real-world sRGB photographs. The code is available at https://github.com/nagejacob/SpatiallyAdaptiveSSID.

研究动机与目标

• 为解决现有自监督图像去噪（SSID）方法在处理真实世界sRGB图像中空间相关噪声时的局限性。
• 克服像素重排下采样带来的缺陷，该方法会破坏图像信息并引发混叠伪影。
• 开发一种基于局部图像特征（平坦 vs. 纹理区域）自适应监督的方法，无需使用干净-噪声图像对。
• 通过分别利用非相邻与相邻像素的自适应监督，提升去噪性能与效率。
• 使用内容感知与噪声鲁棒的双重监督信号，训练基于U-Net的去噪网络。

提出的方法

• 提出一种盲邻域网络（BNN），通过扩展盲区以排除与噪声相关的像素，从而在平坦区域实现可靠监督，该方法在盲区网络（BSN）基础上进行了扩展。
• 利用BNN输出作为代理，通过高方差检测平坦区域，并将这些区域用于监督局部感知网络（LAN）。
• 提出一种局部感知网络（LAN），通过利用相邻像素恢复纹理细节，其监督信号在平坦区域中由BNN输出选择性引导。
• 采用自适应系数α，对BNN与LAN输出进行空间融合，生成尊重局部图像结构的混合监督信号。
• 使用融合后的空间自适应监督信号训练基于U-Net的去噪网络，推理时BNN与LAN模块被解耦。
• 通过学习得到的α实现空间自适应融合策略，避免图像级融合导致的性能下降与推理时间增加。

实验结果

研究问题

• RQ1 空间自适应监督能否提升真实世界sRGB图像中空间相关噪声的自监督去噪性能？
• RQ2 在自监督去噪框架中，如何区分并差异化处理平坦与纹理区域？
• RQ3 盲邻域网络能否在不破坏图像结构的前提下，有效抑制平坦区域中的噪声相关性？
• RQ4 当在平坦区域的自适应监督下训练时，局部感知网络能否有效利用相邻像素恢复纹理细节？
• RQ5 与图像级融合相比，空间自适应监督融合是否在去噪质量与推理效率方面表现更优？

主要发现

• 所提方法在DND数据集上实现了37.39 dB的PSNR，优于当前最先进自监督方法如CVF-SID与AP-BSN+R3。
• 消融实验证实，结合BNN与LAN监督信号可获得最佳性能（37.39 dB），且两者均贡献显著。
• BNN的最佳盲区大小为9×9，能有效排除所有噪声相关像素，同时保持信号完整性。
• 局部感知网络（LAN）在3×3局部感受野下达到峰值性能，实现了细节恢复与模糊避免的平衡。
• 空间自适应融合策略将推理时间降低至4.8 ms，显著快于图像级融合（22.9 ms），同时PSNR提升0.55 dB。
• 视觉对比显示，所提方法生成结果更干净，对细纹理的保持更佳，且模糊更少，优于基线方法。