[论文解读] Swin2SR: SwinV2 Transformer for Compressed Image Super-Resolution and Restoration

Marcos V. Conde, Ui‐Jin Choi+2 more|arXiv (Cornell University)|Sep 22, 2022

Advanced Image Processing Techniques被引用 10

一句话总结

Swin2SR 提出了一种基于 SwinV2 Transformer 的模型，用于压缩图像超分辨率与修复，相较于 SwinIR 在训练稳定性、收敛性和性能方面均有提升。该方法仅使用 DIV2K 和 Flickr2K 数据集，在 AIM 2022 压缩图像超分辨率挑战赛中实现了前五名的成绩，训练速度更快，PSNR 表现具有竞争力。

ABSTRACT

Compression plays an important role on the efficient transmission and storage of images and videos through band-limited systems such as streaming services, virtual reality or videogames. However, compression unavoidably leads to artifacts and the loss of the original information, which may severely degrade the visual quality. For these reasons, quality enhancement of compressed images has become a popular research topic. While most state-of-the-art image restoration methods are based on convolutional neural networks, other transformers-based methods such as SwinIR, show impressive performance on these tasks. In this paper, we explore the novel Swin Transformer V2, to improve SwinIR for image super-resolution, and in particular, the compressed input scenario. Using this method we can tackle the major issues in training transformer vision models, such as training instability, resolution gaps between pre-training and fine-tuning, and hunger on data. We conduct experiments on three representative tasks: JPEG compression artifacts removal, image super-resolution (classical and lightweight), and compressed image super-resolution. Experimental results demonstrate that our method, Swin2SR, can improve the training convergence and performance of SwinIR, and is a top-5 solution at the "AIM 2022 Challenge on Super-Resolution of Compressed Image and Video".

研究动机与目标

• 解决基于 Transformer 的图像修复模型中存在的训练不稳定性与分辨率差距问题。
• 通过利用 SwinV2 Transformer 架构，在性能与效率方面超越 SwinIR。
• 应对压缩图像超分辨率的挑战，包括 JPEG 痕迹与低质量输入。
• 在多个任务上实现最先进性能：JPEG 痕迹去除、经典与轻量级超分辨率，以及压缩图像修复。
• 在真实世界基准（如 AIM 2022 挑战赛）中实现具有竞争力的结果，且数据需求少、推理速度快。

提出的方法

• 采用改进的 SwinV2 Transformer 架构，相比原始 Swin Transformer 在训练稳定性与分辨率泛化能力方面表现更优。
• 使用改进的归一化与门控机制的移位窗口自注意力机制，以增强长距离依赖建模能力。
• 引入辅助损失函数（AuxLoss）与高频损失（HFLoss），以加速收敛并提升感知质量。
• 应用自集成技术（翻转与旋转输入）在几乎不增加推理开销的前提下略微提升 PSNR。
• 在 DIV2K 与 Flickr2K 数据集上端到端训练模型，避免依赖大规模外部数据集。
• 设计两阶段推理：首先对压缩的低分辨率图像进行去噪与修复（Swin2SR-DJPEG），然后使用 Swin2SRx4 进行上采样以获得最终输出。

实验结果

研究问题

• RQ1 与 Swin Transformer 相比，SwinV2 Transformer 架构是否能在图像修复任务中提升训练收敛性与稳定性？
• RQ2 Swin2SR 在压缩图像超分辨率任务中表现如何，特别是在高 JPEG 压缩程度（质量 q=10）下？
• RQ3 辅助损失与高频损失函数在图像修复中对模型收敛性与感知质量的提升程度如何？
• RQ4 Swin2SR 是否能在更少数据与更快训练速度下，实现与现有 SOTA 方法（如 SwinIR）相当甚至更优的性能？
• RQ5 在 AIM 2022 挑战赛等真实世界基准中，Swin2SR 在压缩图像与视频超分辨率任务中的表现如何？

主要发现

• 在 AIM 2022 挑战赛验证集上，Swin2SR 达到 23.590 dB 的 PSNR，优于 SwinIR（23.546 dB），位列前五名解决方案之中。
• 采用自集成后，Swin2SR 的 PSNR 提升至 23.616 dB，显示出在非集成推理基础上的微小但稳定的性能提升。
• 该模型仅使用 DIV2K 与 Flickr2K 数据集即实现具有竞争力的性能，而部分顶尖团队使用了多达 100 万张图像。
• 在某些设置下，Swin2SR 的训练速度比 SwinIR 快 33%，展现出更优的训练效率。
• 模型成功恢复了高频细节并减少了 JPEG 痕迹，即使在低质量（q=10）下也能生成视觉清晰的输出。
• 尽管在细微细节上存在轻微模糊（这是许多 SOTA 模型的通病），Swin2SR 的输出在视觉质量上仍优于双三次插值与基线方法。