[论文解读] NBNet: Noise Basis Learning for Image Denoising with Subspace Projection

Shen Cheng, Yuzhi Wang+4 more|arXiv (Cornell University)|Dec 30, 2020

Image and Signal Denoising Methods参考文献 52被引用 17

一句话总结

NBNet 提出了一种新颖的图像去噪框架，通过在特征空间中学习噪声鲁棒的基向量，利用子空间投影来增强信号恢复。通过引入非局部注意力模块（SSA）实现端到端的基向量生成与投影，NBNet 在 SIDD 和 DND 基准上实现了最先进的 PSNR 和 SSIM 性能，且计算成本显著低于先前方法。

ABSTRACT

In this paper, we introduce NBNet, a novel framework for image denoising. Unlike previous works, we propose to tackle this challenging problem from a new perspective: noise reduction by image-adaptive projection. Specifically, we propose to train a network that can separate signal and noise by learning a set of reconstruction basis in the feature space. Subsequently, image denosing can be achieved by selecting corresponding basis of the signal subspace and projecting the input into such space. Our key insight is that projection can naturally maintain the local structure of input signal, especially for areas with low light or weak textures. Towards this end, we propose SSA, a non-local subspace attention module designed explicitly to learn the basis generation as well as the subspace projection. We further incorporate SSA with NBNet, a UNet structured network designed for end-to-end image denosing. We conduct evaluations on benchmarks, including SIDD and DND, and NBNet achieves state-of-the-art performance on PSNR and SSIM with significantly less computational cost.

研究动机与目标

• 解决在图像去噪中保留精细纹理和弱光细节的挑战，因为传统 CNN 依赖局部滤波器而难以应对。
• 通过引入全局结构信息，克服在低信噪比（SNR）区域基于局部响应的去噪方法的局限性。
• 开发一种高效、端到端可训练的机制，学习信号子空间基并执行投影，而无需增加复杂的卷积模块。
• 证明子空间投影是复杂网络架构或显式噪声建模在图像去噪中的有前途的替代方案。
• 在标准基准上实现优于现有 SOTA 方法的性能，同时计算开销更低。

提出的方法

• 提出一种基于图像自适应子空间投影的新型去噪框架，通过将噪声特征投影到学习到的信号子空间中来重建干净信号。
• 设计子空间注意力（SSA）模块，通过非局部注意力联合学习基向量并执行投影，实现全局上下文建模。
• 将 SSA 集成到类似 UNet 的架构中，以保留跳跃连接和空间细节，其中基向量的生成由编码器路径和跳跃连接路径的特征共同指导。
• 将投影操作表述为 $\text{Proj}(\mathbf{X}_1, \mathbf{X}_2) = \mathbf{X}_1^T \mathbf{B} (\mathbf{B}^T \mathbf{B})^{-1} \mathbf{B}^T \mathbf{X}_1$，其中 $\mathbf{B}$ 是从 $\mathbf{X}_2$ 学习到的基向量。
• 使用预测图像与干净图像之间的标准 L2 损失，端到端训练整个网络，SSA 实现高效且可微分的投影。
• 采用紧凑的基维度 $K=8$ 或 $16$，实验表明该设置在不过拟合的前提下，足以捕捉关键信号结构并具备鲁棒性。

实验结果

研究问题

• RQ1 子空间投影能否有效用于增强图像去噪，从而在低信噪比区域保留局部结构？
• RQ2 通过非局部注意力学习基向量与标准卷积操作相比，能否显著提升去噪性能？
• RQ3 在基生成与投影方面，最优的配置（包括特征来源与维度）是什么？
• RQ4 基于子空间的去噪方法能否在计算成本低于添加额外卷积层的深度 CNN 的情况下实现 SOTA 性能？
• RQ5 与传统及基于深度学习的基线方法相比，所提方法在保留弱纹理和高频细节方面表现如何？

主要发现

• 在 SIDD 基准上，NBNet 实现了 39.75 dB 的 PSNR 和 0.973 的 SSIM，优于所有先前方法，包括 VDN、DANet、MIRNet 和 CBDNet。
• 在 DND 基准上，NBNet 实现了 SOTA 性能，尤其在弱纹理和低光区域表现出更优的纹理与锐度保持能力。
• SSA 模块相较于 DnCNN 提升了 1.15 dB 的 PSNR，相较于 DnCNN 加 SSA 的变体也提升了 0.46 dB，证明其即使在强基线基础上仍具显著有效性。
• 消融实验表明，将 $\mathbf{X}_1$ 投影到由 $\mathbf{X}_1$ 和 $\mathbf{X}_2$ 共同生成的基上时性能最佳（PSNR 达 39.75 dB），优于单一来源的基生成方式。
• 基向量可视化结果表明，所学习的 16 通道基能捕捉重复图案（如点阵），并通过全局相关性实现图像中的一致纹理恢复。
• 该方法仅带来极小的计算开销，即可实现 SOTA 性能，且比添加额外卷积层的方案更具效率。