[论文解读] TOPIQ: A Top-down Approach from Semantics to Distortions for Image Quality Assessment

Chaofeng Chen, Jiadi Mo+6 more|arXiv (Cornell University)|Aug 6, 2023

Visual Attention and Saliency Detection被引用 4

一句话总结

本文提出 TOPIQ，一种自顶向下的图像质量评估框架，通过粗到细的注意力网络（CFANet）利用高层语义信息指导低层特征中的失真感知。通过引入跨尺度注意力机制和门控局部池化，TOPIQ 在全参考和无参考 IQA 基准测试中均达到最先进性能，且仅需现有最佳方法 13% 的 FLOPS。

ABSTRACT

Image Quality Assessment (IQA) is a fundamental task in computer vision that has witnessed remarkable progress with deep neural networks. Inspired by the characteristics of the human visual system, existing methods typically use a combination of global and local representations (\ie, multi-scale features) to achieve superior performance. However, most of them adopt simple linear fusion of multi-scale features, and neglect their possibly complex relationship and interaction. In contrast, humans typically first form a global impression to locate important regions and then focus on local details in those regions. We therefore propose a top-down approach that uses high-level semantics to guide the IQA network to focus on semantically important local distortion regions, named as \emph{TOPIQ}. Our approach to IQA involves the design of a heuristic coarse-to-fine network (CFANet) that leverages multi-scale features and progressively propagates multi-level semantic information to low-level representations in a top-down manner. A key component of our approach is the proposed cross-scale attention mechanism, which calculates attention maps for lower level features guided by higher level features. This mechanism emphasizes active semantic regions for low-level distortions, thereby improving performance. CFANet can be used for both Full-Reference (FR) and No-Reference (NR) IQA. We use ResNet50 as its backbone and demonstrate that CFANet achieves better or competitive performance on most public FR and NR benchmarks compared with state-of-the-art methods based on vision transformers, while being much more efficient (with only ${\sim}13\%$ FLOPS of the current best FR method). Codes are released at \url{https://github.com/chaofengc/IQA-PyTorch}.

研究动机与目标

• 解决现有 IQA 方法依赖自底向上或并行多尺度特征融合而缺乏语义引导的局限性。
• 通过模拟人类视觉系统的全局到局部处理机制，更准确地建模人类视觉感知。
• 通过利用高层语义信息聚焦于语义重要的失真区域，提升 IQA 性能。
• 设计一种高效但强大的架构，在显著降低计算成本的前提下，超越基于视觉 Transformer 的最先进方法。
• 验证自顶向下特征传播与跨尺度注意力在全参考和无参考图像质量评估中的有效性。

提出的方法

• 提出一种粗到细注意力网络（CFANet），以自顶向下的方式将高层语义信息传播至低层特征。
• 引入跨尺度注意力（CSA）机制，基于高层语义特征为低层特征生成注意力图，以突出相关失真区域。
• 设计门控局部池化（GLP）模块，高效提取局部失真特征，同时保持空间分辨率并降低计算成本。
• 采用 ResNet50 作为主干网络，并将 CFANet 集成至全参考和无参考 IQA 设置中。
• 采用启发式设计避免复杂特征选择，转而聚焦于从粗到细层级的渐进式语义引导。
• 通过学习到的注意力而非简单拼接或加权求和来融合多尺度特征，实现对感知相关区域的动态聚焦。

实验结果

研究问题

• RQ1 高层语义理解能否提升 IQA 中对低层图像失真的感知？
• RQ2 自顶向下的特征传播策略是否优于传统的自底向上或并行多尺度特征融合？
• RQ3 跨尺度注意力在引导网络聚焦于语义重要的失真区域方面有多有效？
• RQ4 轻量级自顶向下架构能否在显著降低 FLOPS 的前提下实现最先进性能，相比基于视觉 Transformer 的方法？
• RQ5 所提出方法在多样化的全参考和无参考 IQA 基准测试中泛化能力如何？

主要发现

• 采用 ResNet50 主干的 CFANet 在所有主要全参考和无参考 IQA 基准测试中均达到最先进性能，包括 TID2013、LIVE、CSIQ、KonIQ-10k、FLIVE 和 AVA。
• 在 TID2013 数据集上，该方法取得 0.963 的皮尔逊相关系数（PLCC），在 KonIQ-10k 数据集上取得 0.969，优于先前最先进方法。
• 尽管仅使用当前最佳全参考方法约 13% 的 FLOPS，CFANet 在所有基准测试中仍保持优越或具有竞争力的性能。
• 消融实验证实，所提出的跨尺度注意力（CSA）机制优于卷积融合与直接顶层引导，证明其在特征重加权中的有效性。
• 门控局部池化（GLP）模块在性能上优于简单上采样或全局池化，表明其在选择性局部失真捕获中的作用。
• 更强的主干网络如 Swin Transformer 在无参考基准测试中带来更大性能提升，表明在缺乏参考图像时，全局表征学习更为关键。