[论文解读] SESR: Single Image Super Resolution with Recursive Squeeze and Excitation Networks

Xi Cheng, Xiang Li+2 more|arXiv (Cornell University)|Jan 31, 2018

Advanced Image Processing Techniques参考文献 13被引用 11

一句话总结

本文提出 SESR，一种基于递归挤压-激励网络的单图像超分辨率方法，以提升效率与性能。通过整合挤压-激励模块与具有渐进重建的递归架构，SESR 在减少参数量和层数的同时，在四个基准数据集上实现了最先进水平的准确率与速度。

ABSTRACT

Single image super resolution is a very important computer vision task, with a wide range of applications. In recent years, the depth of the super-resolution model has been constantly increasing, but with a small increase in performance, it has brought a huge amount of computation and memory consumption. In this work, in order to make the super resolution models more effective, we proposed a novel single image super resolution method via recursive squeeze and excitation networks (SESR). By introducing the squeeze and excitation module, our SESR can model the interdependencies and relationships between channels and that makes our model more efficiency. In addition, the recursive structure and progressive reconstruction method in our model minimized the layers and parameters and enabled SESR to simultaneously train multi-scale super resolution in a single model. After evaluating on four benchmark test sets, our model is proved to be above the state-of-the-art methods in terms of speed and accuracy.

研究动机与目标

• 解决深度超分辨率模型效率低下问题，尽管性能提升微乎其微，但其计算与内存开销过大。
• 通过利用挤压-激励模块建模特征图之间的相互依赖关系，改进通道维度的特征表示。
• 通过递归架构减少网络深度与参数量，降低模型复杂度。
• 在单一统一模型中实现多尺度超分辨率训练。
• 与现有最先进方法相比，在速度与准确率方面均实现更优表现。

提出的方法

• 引入挤压-激励（SE）模块，通过基于全局信息重新校准特征图，显式建模通道维度的依赖关系。
• 采用递归网络结构，多次复用相同模块，减少可学习参数量与层数。
• 应用渐进式重建策略，在单一模型中逐步在多个尺度上优化输出图像。
• 将 SE 模块与递归架构结合，增强特征表示，同时保持计算效率。
• 在多个超分辨率尺度上端到端训练模型，使用单一共享网络。
• 采用结合像素级损失与感知损失的损失函数，以提升图像的视觉质量与保真度。

实验结果

研究问题

• RQ1 递归网络架构是否能在保持或提升超分辨率性能的同时降低模型复杂度？
• RQ2 挤压-激励机制在提升图像超分辨率中通道维度特征表示方面的有效性如何？
• RQ3 单一模型能否在无需为每个尺度单独设计架构的情况下，有效学习多尺度超分辨率任务？
• RQ4 所提出方法是否在速度、准确率与参数效率之间实现优于现有 SOTA 方法的平衡？
• RQ5 在资源受限或深层网络设置下，SE 模块的集成在多大程度上提升了性能？

主要发现

• SESR 在四个基准数据集上的 PSNR 与 SSIM 指标均达到最先进水平，优于以往方法。
• 与深层残差网络相比，该模型显著减少了参数量与层数，提升了效率。
• 递归结构使单一模型内实现多尺度超分辨率训练成为可能，简化了部署流程。
• 挤压-激励模块的集成增强了特征表示，从而提升了重建准确率。
• SESR 在保持更高准确率的同时，推理速度优于更深的模型。
• 渐进式重建策略有助于训练稳定，并在多个尺度上提升图像质量。