[论文解读] SwiftSRGAN -- Rethinking Super-Resolution for Efficient and Real-time Inference

Koushik Sivarama Krishnan, Karthik Sivarama Krishnan|arXiv (Cornell University)|Nov 28, 2021

Advanced Image Processing Techniques参考文献 23被引用 15

一句话总结

该论文提出 SwiftSRGAN，一种轻量级、实时的超分辨率模型，通过使用深度可分离卷积和基于 MobileNet 的感知损失，实现了最先进的推理速度——比 SRGAN 快 74 倍——同时保持了具有竞争力的 PSNR 和 SSIM 分数，使低功耗设备上的实时部署成为可能。

ABSTRACT

In recent years, there have been several advancements in the task of image super-resolution using the state of the art Deep Learning-based architectures. Many super-resolution-based techniques previously published, require high-end and top-of-the-line Graphics Processing Unit (GPUs) to perform image super-resolution. With the increasing advancements in Deep Learning approaches, neural networks have become more and more compute hungry. We took a step back and, focused on creating a real-time efficient solution. We present an architecture that is faster and smaller in terms of its memory footprint. The proposed architecture uses Depth-wise Separable Convolutions to extract features and, it performs on-par with other super-resolution GANs (Generative Adversarial Networks) while maintaining real-time inference and a low memory footprint. A real-time super-resolution enables streaming high resolution media content even under poor bandwidth conditions. While maintaining an efficient trade-off between the accuracy and latency, we are able to produce a comparable performance model which is one-eighth (1/8) the size of super-resolution GANs and computes 74 times faster than super-resolution GANs.

研究动机与目标

• 开发一种适用于计算资源有限的移动设备和嵌入式设备的实时、高效超分辨率模型。
• 在不牺牲感知质量或重建精度的前提下，减少模型大小和推理延迟。
• 在带宽受限的环境（如流媒体和边缘计算）中实现出色的图像缩放。
• 证明高效架构可以实现与更大、计算密集型 GAN 基础超分辨率模型相当的性能。

提出的方法

• 采用深度可分离卷积，与标准卷积相比，显著减少参数量和 FLOPs。
• 使用轻量级的 MobileNetV2 主干网络进行特征提取，而非计算成本更高的 VGG 网络，以降低计算开销。
• 集成基于 MobileNetV2 特征图的感知损失，以指导高质量图像生成。
• 结合对抗性损失与内容损失，以增强超分辨率输出的真实感和细节保留能力。
• 采用多尺度损失策略，利用 MobileNetV2 网络多个层级的特征图。
• 使用 AdamW 优化器进行训练，结合混合精度训练和 ReduceLROnPlateau 学习率调度器，以提升收敛性能。

实验结果

研究问题

• RQ1 深度可分离卷积是否能在不降低图像质量的前提下，显著减少超分辨率模型的参数量和推理延迟？
• RQ2 在感知损失中用 MobileNet 替代 VGG 对训练速度和性能有何影响？
• RQ3 轻量级 GAN 基础架构能否在低功耗硬件上实现实时推理的同时，获得与竞争模型相当的 PSNR 和 SSIM 分数？
• RQ4 在实际流媒体和移动应用中，模型效率与超分辨率质量之间的权衡关系如何？

主要发现

• SwiftSRGAN 在 270p 到 1080p 的图像缩放中，每帧推理时间为 5.605 ms，比 SRGAN（812 ms）快 74 倍，比 ESRGAN 快 100 倍。
• 该模型大小仅为标准超分辨率 GAN 的 1/8，显著降低内存占用，使在低功耗设备上的部署成为可能。
• 在 Set5 基准测试中，SwiftSRGAN 达到 PSNR 25.13 和 SSIM 0.794，性能与更大模型相比具有竞争力。
• 视觉结果表明，SwiftSRGAN 能够保留细微细节、光照、反光和色彩准确性，与高分辨率真实图像相当。
• 使用基于 MobileNet 的感知损失可减少训练时间与模型大小，同时保持感知质量。
• 该模型可在低功耗硬件上实现 60 FPS 的实时视频缩放，适用于云游戏、监控和移动 AR/VR 应用。