[论文解读] PUCA: Patch-Unshuffle and Channel Attention for Enhanced Self-Supervised Image Denoising

Hyemi Jang, Junsung Park+4 more|arXiv (Cornell University)|Oct 16, 2023

Image and Signal Denoising Methods被引用 7

一句话总结

PUCA 提出了一种新颖的 $Σ$-不变 U-Net 架构，用于自监督图像去噪，通过引入用于 $Σ$-不变下采样/上采样的块不 shuffle/shuffle 机制以及用于全局上下文建模的空洞注意力模块（DABs）。在 SIDD 数据集上，其性能达到当前最优水平，自监督方法中 PSNR 达到 31.11 dB，SSIM 达到 0.798。

ABSTRACT

Although supervised image denoising networks have shown remarkable performance on synthesized noisy images, they often fail in practice due to the difference between real and synthesized noise. Since clean-noisy image pairs from the real world are extremely costly to gather, self-supervised learning, which utilizes noisy input itself as a target, has been studied. To prevent a self-supervised denoising model from learning identical mapping, each output pixel should not be influenced by its corresponding input pixel; This requirement is known as J-invariance. Blind-spot networks (BSNs) have been a prevalent choice to ensure J-invariance in self-supervised image denoising. However, constructing variations of BSNs by injecting additional operations such as downsampling can expose blinded information, thereby violating J-invariance. Consequently, convolutions designed specifically for BSNs have been allowed only, limiting architectural flexibility. To overcome this limitation, we propose PUCA, a novel J-invariant U-Net architecture, for self-supervised denoising. PUCA leverages patch-unshuffle/shuffle to dramatically expand receptive fields while maintaining J-invariance and dilated attention blocks (DABs) for global context incorporation. Experimental results demonstrate that PUCA achieves state-of-the-art performance, outperforming existing methods in self-supervised image denoising.

研究动机与目标

• 解决自监督图像去噪模型在真实世界噪声下表现不佳的问题，其根源在于合成噪声与真实噪声之间的领域差距。
• 克服盲区网络（BSNs）的架构刚性，后者仅允许使用中心掩码卷积和空洞卷积以保持 $Σ$-不变性。
• 通过引入 $Σ$-不变的下采样/上采样机制，实现自监督去噪中灵活的 U-Net 架构。
• 通过一种新型的 $Σ$-不变通道注意力机制，增强长距离特征学习与全局上下文融合。

提出的方法

• 提出块不 shuffle/shuffle 技术，一种 $Σ$-不变的下采样/上采样方法，通过将特征图划分为非重叠块并重新排列，实现多尺度表征与扩展的感受野。
• 引入空洞注意力模块（DABs），一种 $Σ$-不变的通道注意力机制，通过空洞卷积在下采样特征上关注全局空间上下文。
• 将块不 shuffle 与 DABs 整合进 U-Net 架构中，以保持跳跃连接与层次化特征学习，同时维持 $Σ$-不变性。
• 通过使用中心掩码卷积与块不 shuffle 的结构设计，防止每个输出像素受其对应输入像素的影响，从而确保 $Σ$-不变性。
• 采用仅使用噪声图像的自监督方式训练模型，无需干净-噪声图像对。
• 利用块不 shuffle 所产生的下采样特征集成，通过 DAB 中的注意力融合机制提升去噪效果。

实验结果

研究问题

• RQ1 自监督去噪模型是否能在保持 $Σ$-不变性的同时，实现超越基础 BSN 层的架构灵活性，并达到最先进性能？
• RQ2 如何在不违反 $Σ$-不变性约束的前提下，有效将多尺度表征与大感受野融入 $Σ$-不变网络？
• RQ3 一种基于全局池化与下采样特征的通道注意力机制，在自监督去噪中能多大程度上提升去噪性能？
• RQ4 块不 shuffle 与空洞注意力模块的结合是否能在真实世界噪声图像上，优于现有自监督或无配对去噪方法？

主要发现

• PUCA 在 SIDD 验证集上实现了 31.11 dB 的 PSNR 与 0.798 的 SSIM，优于现有自监督方法，如 AP-BSN（29.46 dB，0.782）与 DnCNN（27.65 dB，0.624）。
• 所提出的块不 shuffle/shuffle 技术成功实现了 $Σ$-不变网络中的下采样与上采样，扩展了感受野并支持多尺度特征学习。
• 空洞注意力模块（DABs）通过关注下采样块的特征，有效融入了全局上下文，提升了去噪效果与特征表征能力。
• PUCA 在真实世界噪声图像上展现出优越的泛化能力，性能可与使用干净-噪声图像对训练的监督模型相媲美。
• 该模型通过其架构设计维持了 $Σ$-不变性，防止了恒等映射，同时支持复杂且灵活的 U-Net 结构。
• 尽管性能有所提升，但当网络层数过多时，PUCA 在全局语义上出现退化，表明深度与语义保真度之间存在权衡。