[论文解读] Single Image Super-Resolution via a Holistic Attention Network

Ben Niu, Weilei Wen+7 more|arXiv (Cornell University)|Aug 20, 2020

Advanced Image Processing Techniques参考文献 40被引用 85

一句话总结

This paper introduces a Holistic Attention Network (HAN) with a Layer Attention Module (LAM) and a Channel-Spatial Attention Module (CSAM) to capture interdependencies across layers, channels, and positions for improved single image super-resolution (SISR).

ABSTRACT

Informative features play a crucial role in the single image super-resolution task. Channel attention has been demonstrated to be effective for preserving information-rich features in each layer. However, channel attention treats each convolution layer as a separate process that misses the correlation among different layers. To address this problem, we propose a new holistic attention network (HAN), which consists of a layer attention module (LAM) and a channel-spatial attention module (CSAM), to model the holistic interdependencies among layers, channels, and positions. Specifically, the proposed LAM adaptively emphasizes hierarchical features by considering correlations among layers. Meanwhile, CSAM learns the confidence at all the positions of each channel to selectively capture more informative features. Extensive experiments demonstrate that the proposed HAN performs favorably against the state-of-the-art single image super-resolution approaches.

研究动机与目标

• 通过利用在通道聚焦注意力常被忽略的层间相关性，推动在 SISR 中对纹理和细节的更好保留。
• 提出一个全局注意框架，联合建模层、通道和空间依赖性。
• 将 LAM 和 CSAM 集成到基于 RCAN 的骨干网络中以增强特征表示。
• 在标准 SR 基准数据集上展示出强大的定量和定性提升。

提出的方法

• 使用 RCAN 作为骨干，从低分辨率输入提取多级特征。
• 引入 Layer Attention Module (LAM) 以学习来自不同残差组（RGs）的中间特征组之间的相关性。
• 引入 Channel-Spatial Attention Module (CSAM) 以学习最终特征图的通道和空间联合依赖性。
• 通过逐元素求和融合 LAM 和 CSAM 的输出，并使用子像素卷积上采样块重建高分辨率图像。
• 在 RGB-LR 到 HR 映射上使用 L1 损失进行训练；在 YCbCr 空间工作，并在亮度通道上评估 PSNR/SSIM。

实验结果

研究问题

• RQ1 如何利用层次特征之间的层间关系来提升 SR 性能？
• RQ2 联合通道-空间注意机制是否能更好地捕捉 SR 中的有信息纹理和细节？
• RQ3 相较于基线注意方法，结合 LAM 和 CSAM 对重建质量的影响是什么？

主要发现

• 所提出的 HAN 在基准数据集的标准降解模型下，优于最先进的 SISR 方法。
• 消融实验显示 LAM 带来显著的 PSNR/SSIM 增益，CSAM 进一步提升。
• 同时使用 LAM 和 CSAM 取得最佳性能，定性结果中结构细节更清晰。
• 自我集成变体 HAN+ 在跨尺度上进一步提升结果。
• 在不使用对抗或感知损失的情况下，该方法仍具竞争力，依赖于简单的 L1 损失。