[论文解读] Spatially-Adaptive Feature Modulation for Efficient Image Super-Resolution

Long Sun, Jiangxin Dong+2 more|arXiv (Cornell University)|Feb 27, 2023

Advanced Image Processing Techniques被引用 13

一句话总结

SAFMN 引入轻量级的类 ViT 块，具备空间自适应特征调制和卷积通道混合器，以显著更少的参数和显存实现具有竞争力的超分性能，在效率方面超越了许多高效的 SR 方法。

ABSTRACT

Although numerous solutions have been proposed for image super-resolution, they are usually incompatible with low-power devices with many computational and memory constraints. In this paper, we address this problem by proposing a simple yet effective deep network to solve image super-resolution efficiently. In detail, we develop a spatially-adaptive feature modulation (SAFM) mechanism upon a vision transformer (ViT)-like block. Within it, we first apply the SAFM block over input features to dynamically select representative feature representations. As the SAFM block processes the input features from a long-range perspective, we further introduce a convolutional channel mixer (CCM) to simultaneously extract local contextual information and perform channel mixing. Extensive experimental results show that the proposed method is $3 imes$ smaller than state-of-the-art efficient SR methods, e.g., IMDN, in terms of the network parameters and requires less computational cost while achieving comparable performance. The code is available at https://github.com/sunny2109/SAFMN.

研究动机与目标

• 为算力和内存有限的低功耗设备激励高效 SR。
• 开发一个利用长程特征交互进行 SR 的轻量级网络。
• 引入 SAFM 和 CCM 组件，将全局自适应性与局部上下文融合。
• 展示相对于最先进的轻量级 SR 模型的有利的准确性与效率权衡。

提出的方法

• 采用类 ViT 架构，通过多尺度的空间自适应特征调制（SAFM）块实现长程特征交互。
• 引入卷积通道混合器（CCM）以编码局部上下文并高效执行通道混合。
• 堆叠特征混合模块（FMMs），将 SAFM 与 CCM 结合并使用基于 LayerNorm 的处理。
• 使用 L1 损失和基于 FFT 的频率损失的组合进行训练，以增强高频重建。
• 使用轻量上采样器和全局残差连接来重建高分辨率图像。
• 使用带自适应最大池化的特征金字塔来生成供 SAFM 使用的多尺度特征。

实验结果

研究问题

• RQ1 一个轻量级的基于 SAFM 的模块是否能达到与更重模型相当的 SR 性能？
• RQ2 将 SAFM 与紧凑的 CCM 结合是否提供了有效的准确性与效率平衡？
• RQ3 多尺度表示和归一化选择对 SR 性能和稳定性有何影响？
• RQ4 在参数量、FLOPs 和显存占用方面，SAFMN 与最先进的高效 SR 模型相比如何？

主要发现

• SAFMN 在参数量和显存使用显著更少的情况下仍实现有竞争力的 SR 性能，相较于最先进的高效 SR 方法。
• 在 x4 SR 下，SAFMN 比 CARN 少约85% 参数、比 IMDN 少66%、比 ShuffleMixer 少42%，分别少用 60%、29%、71% 的激活数。
• 多尺度 SAFM 表征通过实现长程特征交互并降低显存来提升重建。
• CCM 能有效编码局部上下文和通道混合，内存开销低于诸如逆残差块等替代方案。
• LayerNorm 对于稳定训练和相较于 BN 变体及其他归一化方法获得更好性能是必要的。
• 消融分析显示 SAFM 和 CCM 组件对基线的性能提升具有累积贡献。