[论文解读] ShuffleMixer: An Efficient ConvNet for Image Super-Resolution

Long Sun, Jinshan Pan+1 more|arXiv (Cornell University)|May 30, 2022

Advanced Image Processing Techniques被引用 72

一句话总结

ShuffleMixer 使用大核深度卷积、通道切分/洗牌以及 Fused-MBConvs，在图像超分辨率方面实现了最先进的效率，与此前的轻量模型相比，参数/FLOPs 约少6x，同时保持具有竞争力的 SR 性能。

ABSTRACT

Lightweight and efficiency are critical drivers for the practical application of image super-resolution (SR) algorithms. We propose a simple and effective approach, ShuffleMixer, for lightweight image super-resolution that explores large convolution and channel split-shuffle operation. In contrast to previous SR models that simply stack multiple small kernel convolutions or complex operators to learn representations, we explore a large kernel ConvNet for mobile-friendly SR design. Specifically, we develop a large depth-wise convolution and two projection layers based on channel splitting and shuffling as the basic component to mix features efficiently. Since the contexts of natural images are strongly locally correlated, using large depth-wise convolutions only is insufficient to reconstruct fine details. To overcome this problem while maintaining the efficiency of the proposed module, we introduce Fused-MBConvs into the proposed network to model the local connectivity of different features. Experimental results demonstrate that the proposed ShuffleMixer is about 6x smaller than the state-of-the-art methods in terms of model parameters and FLOPs while achieving competitive performance. In NTIRE 2022, our primary method won the model complexity track of the Efficient Super-Resolution Challenge [23]. The code is available at https://github.com/sunny2109/MobileSR-NTIRE2022.

研究动机与目标

• 为移动端和资源受限环境中的轻量级和高效的单图像超分辨率（SISR）提供动机。
• 引入一个大核卷积神经网络设计，在不增加过多参数的情况下扩展感受野。
• 开发一种特征混合块，高效融合空间信息和通道信息。
• 通过 Fused-MBConvs 引入局部连接性，以改善细节重建。

提出的方法

• 实现 ShuffleMixer 架构，包含一个初始的 3x3 特征提取层。
• 使用特征混合块（FMB），其包含两个 shuffle mixer 层和一个 Fused-MBConv 模块。
• 采用通道切分与打乱（CSS）以降低通道投影中的参数数量。
• 在两个 shuffle mixer 层之后嵌入 Fused-MBConv 块，以增强局部特征连接性。
• 使用轻量级的 1x1 卷积和像素洗牌进行上采样，然后通过残差连接重建 SR。
• 用 L1 像素损失加上通过 FFT 的频域损失进行训练，以促进高频细节保留。

实验结果

研究问题

• RQ1 具有通道切分的大核深度卷积网络是否能够在显著减少参数和 FLOPs 的同时实现具有竞争力的 SR 质量？
• RQ2 将 Fused-MBConvs 和局部连接性纳入是否能提升 ShuffleMixer 的细节重建？
• RQ3 核大小、通道投影策略和残差块对 SR 性能与效率有什么影响？

主要发现

• ShuffleMixer 在参数和 FLOP 数量上比最先进的轻量级 SR 方法小约 ~6x，同时仍提供有竞争力的 PSNR/SSIM。
• ShuffleMixer-Tiny（113K 参数）在标准基准上优于许多现有方法。
• 增加深度卷积核尺寸可将 PSNR 提升至 7x7，成本适度增加；更大尺寸回报递减。
• 通道切分与打乱（CSS）降低了参数数量，但通过重复投影层（CDC）可以弥补以恢复性能。
• 引入 Fused-MBConvs（S-FMBConv）在复杂度与 SR 质量之间提供了一个有利的平衡。
• 在 GT 基准测试（×2、×3、×4）上，ShuffleMixer 变体展现出强劲的 SR 性能，并且在 GPU 上的运行时间较优（1280×720 HR 尺寸时为 0.016–0.021s）。