[论文解读] Residual Non-local Attention Networks for Image Restoration

Yulun Zhang, Kunpeng Li+3 more|arXiv (Cornell University)|Mar 24, 2019

Image and Signal Denoising Methods被引用 203

一句话总结

RNAN 引入带有干线与掩码分支的残差局部与非局部注意力块，实现非局部混合注意力和残差注意力学习，从而提升在去噪、去马赛克、压缩伪影抑制和超分辨率等图像恢复任务中的性能。

ABSTRACT

In this paper, we propose a residual non-local attention network for high-quality image restoration. Without considering the uneven distribution of information in the corrupted images, previous methods are restricted by local convolutional operation and equal treatment of spatial- and channel-wise features. To address this issue, we design local and non-local attention blocks to extract features that capture the long-range dependencies between pixels and pay more attention to the challenging parts. Specifically, we design trunk branch and (non-)local mask branch in each (non-)local attention block. The trunk branch is used to extract hierarchical features. Local and non-local mask branches aim to adaptively rescale these hierarchical features with mixed attentions. The local mask branch concentrates on more local structures with convolutional operations, while non-local attention considers more about long-range dependencies in the whole feature map. Furthermore, we propose residual local and non-local attention learning to train the very deep network, which further enhance the representation ability of the network. Our proposed method can be generalized for various image restoration applications, such as image denoising, demosaicing, compression artifacts reduction, and super-resolution. Experiments demonstrate that our method obtains comparable or better results compared with recently leading methods quantitatively and visually.

研究动机与目标

• 通过捕捉损坏图像中的长程依赖性，推动相对于局部 CNN 的改进。
• 开发具有残差局部和非局部注意力的极深网络，以提升恢复质量。
• 整合干线和掩码分支以学习层次特征，并通过混合注意力自适应地重新缩放它们。
• 引入非局部注意力，以在保留低层细节的同时利用全局依赖。
• 证明 RNAN 在多种图像恢复任务中的泛化能力。

提出的方法

• 设计通过残差块提取层次特征的干线分支。
• 实现通过局部卷积产生注意力映射，并通过下采样/上采样或非局部块获得大感受野的掩码分支。
• 在掩码分支中加入非局部块以产生非局部混合注意力。
• 提出残差非局部注意力学习 H_RNA(x)=H_trunk(x)H_mask(x)+x，以在恢复中保留低层细节。
• 用低/高质量图像对的 L2 损失训练 RNAN，并使用非常深的 RNABs（局部和非局部的堆叠）以实现强表征。
• 提供实现细节：10 个 RNAN 块，64/32 个特征通道，ADAM 优化器，1x1 和 3x3 核等。

实验结果

研究问题

• RQ1 残差局部与非局部注意力能否在恢复质量上超越基于标准 CNN 的方法？
• RQ2 在掩码分支中引入非局部混合注意力是否提升网络处理降级图像中的长程依赖的能力？
• RQ3 所提出的残余非局部注意力学习对于极深网络在去噪、去马赛克、压缩伪影抑制和超分辨率等图像恢复任务中是否有效？
• RQ4 掩码分支设计和非局部块对性能与效率有何影响？

主要发现

• 在报道的实验中，RNAN 相较于领先方法在去噪、去马赛克、压缩伪影抑制和 SR 上取得了优越的结果。
• 非局部混合注意力和掩码分支始终提升恢复性能，相较于不使用它们的配置。
• 更多的非局部块带来更好的 PSNR，但计算成本更高，因此选择两个非局部块以实现平衡。
• RNAN 提供了在标准基准上具备中等模型尺寸（约 7.4M 参数）和具竞争力的运行时间的最先进结果。
• 自我集成的 RNAN+ 进一步提升 SR 结果，在保持较强性能的同时，相较于某些更深的 SR 模型更加参数高效。