[论文解读] Wider Channel Attention Network for Remote Sensing Image Super-resolution

Jun Gu, Guangluan Xu+4 more|arXiv (Cornell University)|Dec 13, 2018

Advanced Image Processing Techniques参考文献 14被引用 5

一句话总结

本文提出了一种新型单图像超分辨率方法——宽通道注意力网络（WCAN），通过在更广的注意力模块中整合通道注意力、局部记忆连接（LMC）和特征融合，提升遥感图像的特征表征能力。WCAN 改进了信息流动与模型性能，在 UC Merced 数据集上取得了最先进结果。

ABSTRACT

Recently, deep convolutional neural networks (CNNs) have obtained promising results in image processing tasks including super-resolution (SR). However, most CNN-based SR methods treat low-resolution (LR) inputs and features equally across channels, rarely notice the loss of information flow caused by the activation function and fail to leverage the representation ability of CNNs. In this letter, we propose a novel single-image super-resolution (SISR) algorithm named Wider Channel Attention Network (WCAN) for remote sensing images. Firstly, the channel attention mechanism is used to adaptively recalibrate the importance of each channel at the middle of the wider attention block (WAB). Secondly, we propose the Local Memory Connection (LMC) to enhance the information flow. Finally, the features within each WAB are fused to take advantage of the network's representation capability and further improve information and gradient flow. Analytic experiments on a public remote sensing data set (UC Merced) show that our WCAN achieves better accuracy and visual improvements against most state-of-the-art methods.

研究动机与目标

• 解决现有基于 CNN 的遥感图像超分辨率方法中存在的信息流动受限与表征能力未被充分利用的问题。
• 通过在更广的注意力模块中引入通道注意力机制，提升通道间特征校准能力。
• 通过所提出的局部记忆连接（LMC）机制，增强梯度与特征传播。
• 通过在每个更广注意力模块内融合特征，提升网络的表征能力。

提出的方法

• 设计了一种更广注意力模块（WAB），通过集成多个卷积层扩展感受野，提升特征学习能力。
• 在 WAB 内部应用通道注意力，基于全局上下文自适应校准通道维度上的特征重要性。
• 引入局部记忆连接（LMC）机制，通过在层间保持短期特征记忆，以保留并传播长距离依赖关系。
• 将每个 WAB 内不同阶段的特征图进行融合，以增强表征能力并改善信息与梯度流动。
• 整体网络架构通过堆叠多个 WAB 并结合跳跃连接，以稳定训练并提升重建质量。
• 采用感知损失与对抗性损失进行端到端训练，以增强结构保真度与视觉真实性。

实验结果

研究问题

• RQ1 通道维度上的特征重校准在多大程度上能提升遥感图像的超分辨率性能？
• RQ2 通过残差连接与记忆机制增强信息流动，能在多大程度上改善特征学习？
• RQ3 在更广注意力模块内进行特征融合是否能带来更优的表征与重建质量？
• RQ4 在遥感数据上，所提出的 WCAN 在定量指标与视觉质量方面相较于最先进方法表现如何？

主要发现

• WCAN 在 UC Merced 遥感图像数据集上的表现优于大多数最先进方法。
• 在更广注意力模块中集成通道注意力，实现了更有效的特征校准与更优的表征学习。
• 局部记忆连接（LMC）机制增强了信息与梯度流动，有助于加快收敛并提升特征保持能力。
• 在每个 WAB 内部进行特征融合显著提升了网络捕捉多尺度细节与纹理的能力。
• 视觉结果表明，WCAN 在重建的高分辨率图像中能生成更清晰的边缘与更真实的纹理。
• 在 PSNR 与 SSIM 等定量指标上，该方法表现出更高的准确性，证实了其在遥感图像超分辨率任务中的有效性。