[论文解读] RAM: Residual Attention Module for Single Image Super-Resolution

Jun-Hyuk Kim, Junho Choi+2 more|arXiv (Cornell University)|Nov 29, 2018

Advanced Image Processing Techniques参考文献 24被引用 53

一句话总结

本文提出MAMNet，一种用于单图像超分的轻量化残差注意力模块（MAMB），通过三种路径自适应调制特征：通道特定信息、通道间依赖关系以及通道特定的空间依赖关系。该方法在参数量少于现有方法的前提下，实现了最先进性能。

ABSTRACT

In recent years, single image super-resolution (SR) methods based on deep convolutional neural networks (CNNs) have made significant progress. However, due to the non-adaptive nature of the convolution operation, they cannot adapt to various characteristics of images, which limits their representational capability and, consequently, results in unnecessarily large model sizes. To address this issue, we propose a novel multi-path adaptive modulation network (MAMNet). Specifically, we propose a multi-path adaptive modulation block (MAMB), which is a lightweight yet effective residual block that adaptively modulates residual feature responses by fully exploiting their information via three paths. The three paths model three types of information suitable for SR: 1) channel-specific information (CSI) using global variance pooling, 2) inter-channel dependencies (ICD) based on the CSI, 3) and channel-specific spatial dependencies (CSD) via depth-wise convolution. We demonstrate that the proposed MAMB is effective and parameter-efficient for image SR than other feature modulation methods. In addition, experimental results show that our MAMNet outperforms most of the state-of-the-art methods with a relatively small number of parameters.

研究动机与目标

• 解决深度卷积神经网络在单图像超分任务中非自适应卷积操作的局限性。
• 通过基于图像特性的自适应调制残差特征，提升特征表示能力。
• 通过轻量化多路径架构，在保持或提升性能的同时降低模型复杂度。
• 通过在统一残差块中建模通道特定、通道间及空间依赖关系，增强表征能力。

提出的方法

• 提出一个多路径自适应调制模块（MAMB），通过三条独立路径处理特征：利用全局方差池化获取通道特定信息（CSI），通过CSI建模通道间依赖关系，通过深度可分离卷积捕捉通道特定的空间依赖关系。
• 将三条路径整合进残差学习框架，以保持特征层次结构并支持端到端训练。
• 采用自适应调制机制，根据输入图像特性动态调整残差特征响应。
• 将MAMB设计为轻量化模块，以最小化参数量，同时最大化表征能力。
• 通过堆叠多个MAMB模块构建MAMNet，形成用于图像超分的深层残差网络。
• 在真实世界和基准数据集上使用标准损失函数（如L1或L2损失）进行网络训练。

实验结果

研究问题

• RQ1 多路径自适应调制机制是否能在单图像超分任务中超越标准卷积操作，提升特征表示能力？
• RQ2 整合通道特定、通道间及空间依赖关系对模型性能与参数效率有何影响？
• RQ3 轻量化残差模块在准确率与模型大小方面，能在多大程度上超越现有注意力机制？
• RQ4 所提出的MAMB在不同图像内容与超分尺度下是否具备良好的泛化能力？

主要发现

• 所提出的MAMB在图像超分任务中性能优于现有特征调制方法，特征表示能力显著提升。
• MAMNet在基准数据集上的PSNR与SSIM指标上优于大多数最先进方法，且参数量更少。
• 模型展现出强大的参数效率，在参数量相对较少的情况下仍保持高性能。
• 三路径设计——CSI、ICD与CSD——协同增强特征调制，从而提升重建质量。
• 实验结果证实，通过MAMB实现的自适应调制可减少对大型、计算成本高昂网络的依赖。
• 该方法在多种超分尺度与多样化图像内容下均表现出一致的性能增益。