[论文解读] Omni Aggregation Networks for Lightweight Image Super-Resolution

Hang Wang, Xuanhong Chen+3 more|arXiv (Cornell University)|Apr 20, 2023

Advanced Image Processing Techniques被引用 5

一句话总结

本文提出 Omni-SR，一种用于图像超分辨率的轻量化视觉Transformer框架，引入全向自注意力（OSA）以同时建模空间与通道特征交互，并提出全尺度聚合组（OSAG）以实现分层的局部、中等与全局尺度特征学习。该方法仅使用 792K 参数即达到 SOTA 性能，在 Urban100 ×4 上为 26.95 dB，在 Manga109 ×4 上为 31.50 dB。

ABSTRACT

While lightweight ViT framework has made tremendous progress in image super-resolution, its uni-dimensional self-attention modeling, as well as homogeneous aggregation scheme, limit its effective receptive field (ERF) to include more comprehensive interactions from both spatial and channel dimensions. To tackle these drawbacks, this work proposes two enhanced components under a new Omni-SR architecture. First, an Omni Self-Attention (OSA) block is proposed based on dense interaction principle, which can simultaneously model pixel-interaction from both spatial and channel dimensions, mining the potential correlations across omni-axis (i.e., spatial and channel). Coupling with mainstream window partitioning strategies, OSA can achieve superior performance with compelling computational budgets. Second, a multi-scale interaction scheme is proposed to mitigate sub-optimal ERF (i.e., premature saturation) in shallow models, which facilitates local propagation and meso-/global-scale interactions, rendering an omni-scale aggregation building block. Extensive experiments demonstrate that Omni-SR achieves record-high performance on lightweight super-resolution benchmarks (e.g., 26.95 dB@Urban100 $ imes 4$ with only 792K parameters). Our code is available at \url{https://github.com/Francis0625/Omni-SR}.

研究动机与目标

• 解决基于轻量化视觉Transformer的超分辨率模型中有效感受野受限的问题。
• 克服单一维度自注意力机制（仅空间或仅通道）在捕捉全面特征交互方面的局限性。
• 通过缓解浅层模型中有效感受野的过早饱和问题，提升特征表示能力。
• 设计一种多尺度聚合方案，实现在局部、中等与全局尺度上的渐进式、分层特征学习。

提出的方法

• 提出全向自注意力（OSA），一种三维交互机制，通过同时计算空间与通道维度上的交叉协方差矩阵，实现全轴特征交互。
• 将 OSA 与窗口划分策略（如 Swin 风格）结合，以在保持计算效率的同时增强上下文建模能力。
• 设计全尺度聚合组（OSAG），包含三个级联组件：用于细节捕捉的局部卷积、用于中等范围模式建模的中等尺度自注意力，以及用于长程上下文建模的全局自注意力。
• 通过分层堆叠不同类型的算子（卷积、自注意力），避免在同质模块堆叠中出现的性能饱和现象。
• 采用基于协方差的通道交互方式，而非基于标量的注意力机制（如 SE、CBAM），以实现更丰富的特征传播。
• 通过控制 FLOPs 与参数量，保持模型效率，实现仅 792K 参数的紧凑模型。

实验结果

研究问题

• RQ1 同时进行空间与通道自注意力是否能提升轻量化超分辨率模型中的特征表示能力？
• RQ2 包含局部、中等与全局三个独立组件的多尺度聚合方案，是否优于同质堆叠相同算子的方案？
• RQ3 所提出的 OSA 模块与传统注意力机制（如 SE、CBAM）相比，在性能与优化稳定性方面表现如何？
• RQ4 全尺度设计在多大程度上缓解了浅层模型中有效感受野饱和的问题？
• RQ5 所提出的框架是否能在极低参数量（低于 100 万）下实现 SOTA 性能？

主要发现

• Omni-SR 在 Urban100 ×4 上仅使用 792K 参数即达到 26.95 dB，创下轻量化模型的新 SOTA 记录。
• 尽管参数更少，Omni-SR 在 Urban100 ×4 上仍比 SwinIR 高出 0.04 dB。
• 移除通道交互组件（Omni-SR_sp）后性能下降 0.13 dB，证明通道交互的重要性。
• 包含全部三个组件（局部、中等、全局）的 OSAG 设计性能最佳，优于单组件或双组件方案。
• 完整模型表现出更平滑的损失曲面与更快的收敛速度，表明其具有更优的优化特性。
• 在 FLOPs 匹配的情况下，基于协方差交互的 OSA 模块优于 SE 与 CBAM 等基于标量的替代方案。