[论文解读] Single Image Super-Resolution via Residual Neuron Attention Networks

Wenjie Ai, Xiaoguang Tu+2 more|arXiv (Cornell University)|May 21, 2020

Advanced Image Processing Techniques参考文献 26被引用 4

一句话总结

本文提出残差神经元注意力网络（RNAN）用于单图像超分辨率，通过新型残差神经元注意力（RNA）机制建模神经元级特征依赖关系，并结合全局上下文增强残差组（GCRG），实现对全局上下文的建模。RNAN在参数量更少的情况下实现了最先进性能，在基准数据集上优于EDSR和RDN等方法，同时保持了高视觉保真度和量化指标。

ABSTRACT

Deep Convolutional Neural Networks (DCNNs) have achieved impressive performance in Single Image Super-Resolution (SISR). To further improve the performance, existing CNN-based methods generally focus on designing deeper architecture of the network. However, we argue blindly increasing network's depth is not the most sensible way. In this paper, we propose a novel end-to-end Residual Neuron Attention Networks (RNAN) for more efficient and effective SISR. Structurally, our RNAN is a sequential integration of the well-designed Global Context-enhanced Residual Groups (GCRGs), which extracts super-resolved features from coarse to fine. Our GCRG is designed with two novelties. Firstly, the Residual Neuron Attention (RNA) mechanism is proposed in each block of GCRG to reveal the relevance of neurons for better feature representation. Furthermore, the Global Context (GC) block is embedded into RNAN at the end of each GCRG for effectively modeling the global contextual information. Experiments results demonstrate that our RNAN achieves the comparable results with state-of-the-art methods in terms of both quantitative metrics and visual quality, however, with simplified network architecture.

研究动机与目标

• 为解决单纯增加网络深度在超分辨率任务中的局限性，聚焦于特征相关性与上下文建模。
• 通过显式建模神经元之间的相互依赖关系，提升超分辨率网络中的特征表示能力。
• 通过轻量级全局上下文（GC）模块捕获长程上下文信息，从而提升性能。
• 相比现有深度网络，在降低模型复杂度的前提下实现更优的性能表现。

提出的方法

• 网络架构由浅层特征提取器、多个全局上下文增强残差组（GCRG）、上采样模块和重建层组成。
• 每个GCRG集成残差神经元注意力（RNA）模块，基于学习到的神经元间依赖关系重新校准神经元响应。
• 在每个GCRG之后附加全局上下文（GC）模块，用于建模特征图上的长程依赖关系。
• 通过均匀间隔的特征图拼接方式融合不同GCRG阶段的输出，随后应用全局残差学习。
• 测试阶段采用自集成推理策略，通过平均增强输入来提升性能。
• 模型采用L1损失函数，使用Adam优化器进行端到端训练，并结合旋转与翻转等数据增强技术。

实验结果

研究问题

• RQ1 建模神经元级特征关系是否能在不增加网络深度的前提下提升超分辨率性能？
• RQ2 引入全局上下文信息对重建高分辨率图像的质量有何影响？
• RQ3 轻量级注意力机制能否在超分辨率任务中超越更深或更复杂的架构？
• RQ4 在单图像超分辨率任务中，模型复杂度与性能之间的权衡关系如何？

主要发现

• RNAN在Set5、Set14、B100和Urban100数据集上，于×2、×3和×4放大因子下均达到最先进PSNR与SSIM指标。
• 采用自集成后，RNAN在Urban100数据集×4放大下达到38.31 dB的PSNR，优于EDSR（38.27 dB）和RDN（38.25 dB），且参数量更少。
• RNAN将模型参数量减少至17.30M，约为EDSR（43.10M）的2/5，以及RDN（22.27M）的4/5，同时保持了具有竞争力的性能表现。
• 视觉对比显示，与SRCNN、EDSR和FSRCNN相比，RNAN能重建出更清晰的边缘和更多高频细节，如更清晰的文本与建筑结构。
• 随着放大因子的提高，RNAN与EDSR之间的性能差距缩小（如×4时仅差0.04 dB），但RNAN在视觉质量上仍显著更优。
• RNA与GC模块的结合显著提升了特征表示能力，体现在多种图像类型下SSIM指标提升与视觉保真度增强。