[论文解读] Transformer for Single Image Super-Resolution

Zhisheng Lu, Juncheng Li+4 more|arXiv (Cornell University)|Aug 25, 2021

Optical Coherence Tomography Applications被引用 5

一句话总结

该论文提出了一种高效的超分辨率Transformer（ESRT），一种混合CNN-Transformer架构，在单图像超分辨率任务中实现了最先进性能，同时显著降低了计算成本。通过将轻量级CNN主干网络（LCB）与高保真块结合，并采用基于高效多头注意力（EMHA）的轻量级Transformer主干网络（LTB），ESRT将GPU显存使用量降低至4,191M，仅为原始Transformer的26%，同时在基准数据集上将PSNR提升高达0.32dB。

ABSTRACT

Single image super-resolution (SISR) has witnessed great strides with the development of deep learning. However, most existing studies focus on building more complex networks with a massive number of layers. Recently, more and more researchers start to explore the application of Transformer in computer vision tasks. However, the heavy computational cost and high GPU memory occupation of the vision Transformer cannot be ignored. In this paper, we propose a novel Efficient Super-Resolution Transformer (ESRT) for SISR. ESRT is a hybrid model, which consists of a Lightweight CNN Backbone (LCB) and a Lightweight Transformer Backbone (LTB). Among them, LCB can dynamically adjust the size of the feature map to extract deep features with a low computational cost. LTB is composed of a series of Efficient Transformers (ET), which occupies a small GPU memory occupation, thanks to the specially designed Efficient Multi-Head Attention (EMHA). Extensive experiments show that ESRT achieves competitive results with low computational costs. Compared with the original Transformer which occupies 16,057M GPU memory, ESRT only occupies 4,191M GPU memory. All codes are available at https://github.com/luissen/ESRT.

研究动机与目标

• 解决视觉Transformer在单图像超分辨率（SISR）任务中计算成本高和GPU显存消耗大的问题。
• 通过轻量级Transformer机制，增强图像中相似图像块之间的长距离特征依赖关系。
• 开发一种混合CNN-Transformer模型，在大幅降低模型规模和推理成本的同时保持高性能。
• 实现在硬件资源有限的实际应用场景中，部署基于Transformer的SISR模型。

提出的方法

• 提出一种轻量级CNN主干网络（LCB），通过高频频段滤波模块（HFM）动态调整特征图尺寸，在减少计算量的同时保留高频细节。
• 引入自适应残差特征块（ARFB），自适应融合残差路径与恒等路径，以提升特征表示能力。
• 设计一种高效Transformer（ET），采用新型高效多头注意力（EMHA）机制，将自注意力限制在局部区域，从而降低GPU显存使用量。
• 在EMHA中引入分割因子，对局部图像块进行注意力计算，实现在不进行完整注意力计算的前提下高效建模长距离依赖关系。
• 在混合架构中结合LCB与LTB，其中CNN负责提取深层特征，Transformer则建模相似图像块之间的长距离上下文关系。
• 在标准SISR基准数据集（Set5、Set14、Urban100）上端到端训练模型，采用48×48的图像块大小和16的批量大小。

Figure 2 : The architecture of the proposed Efficient Super-Resolution Transformer. Among them, LCB, LTB, HPB, and ET stand for the Lightweight CNN Backbone, the Lightweight Transformer Backbone, high preserving block, and efficient Transformers, respectively.

实验结果

研究问题

• RQ1 轻量级Transformer机制是否能在不产生过高显存开销的前提下，有效建模SISR中相似图像块之间的长距离依赖关系？
• RQ2 混合CNN-Transformer架构如何在最小化计算与显存开销的同时提升超分辨率性能？
• RQ3 与标准Transformer相比，所提出的高效多头注意力（EMHA）在SISR任务中能将GPU显存使用量降低多少？
• RQ4 所提出的高效Transformer（ET）是否可普遍应用于现有SISR模型（如RCAN），且仅需极少的架构修改？
• RQ5 与专门设计的轻量级模型（如IMDN和LK-KPN）相比，ESRT在真实世界图像上的表现是否更优？

主要发现

• 在×4超分辨率设置下，ESRT在Set5数据集上达到32.18 dB的PSNR，优于原始Transformer（32.14 dB），且GPU显存使用量降低74%（4,191M vs. 16,057M）。
• 所提出的高效Transformer（ET）将GPU显存消耗降低至原始Transformer的1/4，同时在Set5上性能提升0.04 dB。
• 当集成到RCAN中时，ET模块（RCAN/2+ET）在参数量减少46%（8.7M vs. 16M）的前提下，性能与完整RCAN模型相当或更优。
• 在真实世界图像（RealSR数据集）上，ESRT在×4超分辨率下达到28.78 dB的PSNR，优于IMDN（28.68 dB）和LK-KPN（28.65 dB）。
• 与SwinIR相比，ESRT在BSD100数据集上实现几乎相同的性能（29.15 dB），但参数量减少12%（770K vs. 886K），GPU显存使用量降低39%（4,191M vs. 6,966M）。
• 消融实验表明，LCB中HFM与ARFB的结合可有效提升特征保留能力并减少计算量，而LTB中的EMHA则实现了对长距离依赖关系的高效建模。

Figure 3 : The architecture of the proposed High Preserving Block (HPB), which mainly consists of High-frequency Filtering Module (HFM) and Adaptive Residual Feature Blocks (ARFBs).