[论文解读] Spatial-Adaptive Network for Single Image Denoising

Meng Chang, Qi Li+2 more|arXiv (Cornell University)|Jan 28, 2020

Image and Signal Denoising Methods参考文献 38被引用 6

一句话总结

该论文提出SADNet，一种空间自适应去噪网络，通过使用带有调制可变形卷积的残差空间自适应块，根据局部纹理和边缘内容动态采样相关特征，从而实现对合成和真实噪声图像的有效去噪。该方法通过采用编码器-解码器结构结合上下文模块以实现多尺度特征学习和粗到细去噪，以较低的计算成本实现了最先进性能。

ABSTRACT

Previous works have shown that convolutional neural networks can achieve good performance in image denoising tasks. However, limited by the local rigid convolutional operation, these methods lead to oversmoothing artifacts. A deeper network structure could alleviate these problems, but more computational overhead is needed. In this paper, we propose a novel spatial-adaptive denoising network (SADNet) for efficient single image blind noise removal. To adapt to changes in spatial textures and edges, we design a residual spatial-adaptive block. Deformable convolution is introduced to sample the spatially correlated features for weighting. An encoder-decoder structure with a context block is introduced to capture multiscale information. With noise removal from the coarse to fine, a high-quality noisefree image can be obtained. We apply our method to both synthetic and real noisy image datasets. The experimental results demonstrate that our method can surpass the state-of-the-art denoising methods both quantitatively and visually.

研究动机与目标

• 解决标准CNN中感受野固定导致的过度平滑和噪声图像中细节丢失的问题。
• 克服非局部或深层网络方法带来的高计算和内存开销问题。
• 实现在具有空间变化和复杂噪声模式的真实世界图像上的有效盲去噪。
• 在保持快速推理速度的同时，提升严重受损图像中的细节和纹理恢复能力。
• 在合成和真实世界数据集上均实现卓越性能，且计算开销最小。

提出的方法

• 提出一种残差空间自适应块（RSAB），利用调制可变形卷积根据图像局部内容自适应地采样空间相关特征。
• 在编码器-解码器架构中集成RSAB与残差块，通过多尺度特征学习实现粗到细去噪。
• 在最粗尺度引入上下文模块，以扩展感受野并捕获长距离依赖关系，同时显著降低FLOPs的增加。
• 通过可变形卷积中的偏移预测，动态调整采样位置，以响应图像纹理和边缘信息。
• 利用多尺度监督和跳跃连接，在去噪过程中保留高频细节。
• 通过合成和真实噪声数据集（包括DnD、SIDD和Nam）对网络进行端到端盲去噪优化。

实验结果

研究问题

• RQ1 与标准CNN相比，空间自适应卷积机制是否能改善单图像去噪中的细节保留并减少过度平滑？
• RQ2 将可变形卷积与残差块结合，对具有复杂噪声模式的真实世界噪声图像的性能有何影响？
• RQ3 在保持低计算成本的前提下，带有上下文模块的编码器-解码器结构在多尺度特征学习方面能达到何种程度？
• RQ4 所提方法在真实世界数据集上的定量指标和视觉质量方面是否优于现有最先进模型？
• RQ5 该网络在无噪声水平或分布先验知识的盲去噪场景中是否具有良好的泛化能力？

主要发现

• 在DnD sRGB数据集上，SADNet的PSNR达到39.59 dB，SSIM为0.9523，优于所有对比方法，包括Path-Restore和RIDNet。
• 在SIDD验证集上，SADNet的PSNR达到39.46 dB，显著优于CBDNet（30.78 dB）、PD（32.94 dB）和RIDNet（38.71 dB）。
• 在JPEG压缩图像的Nam数据集上，SADNet的PSNR达到42.92 dB，SSIM为0.9839，优于RIDNet（41.04 dB）、PD（41.09 dB）和CBDNet*（41.31 dB）。
• 在Nam数据集上，SADNet相比RIDNet提升1.88 dB，相比CBDNet*提升1.61 dB，表明其对压缩伪影具有强大鲁棒性。
• 尽管参数量为430万，SADNet的FLOPs仅为50.1G，480×320图像的推理时间仅为26.7ms，显著快于MemNet和RNAN等更深模型。
• 在DnD、SIDD和Nam数据集上的视觉对比显示，SADNet在边缘和纹理保持方面优于竞争方法，后者常导致细结构模糊或失真。