[论文解读] NTIRE 2022 Challenge on Perceptual Image Quality Assessment

Jinjin Gu, Haoming Cai+3 more|arXiv (Cornell University)|Jun 23, 2022

Image and Video Quality Assessment被引用 4

一句话总结

本论文介绍了NTIRE 2022年关于感知图像质量评估的挑战赛，提出了一项基于PIPAL数据集的新基准，用于评估基于生成对抗网络（GAN）和感知导向失真类型的全参考与无参考图像质量评估（IQA）方法。获奖模型取得了最先进性能，展示了在各类失真类型下与人类判断高度一致的相关性，其优势源于先进的网络架构与损失函数设计。

ABSTRACT

This paper reports on the NTIRE 2022 challenge on perceptual image quality assessment (IQA), held in conjunction with the New Trends in Image Restoration and Enhancement workshop (NTIRE) workshop at CVPR 2022. This challenge is held to address the emerging challenge of IQA by perceptual image processing algorithms. The output images of these algorithms have completely different characteristics from traditional distortions and are included in the PIPAL dataset used in this challenge. This challenge is divided into two tracks, a full-reference IQA track similar to the previous NTIRE IQA challenge and a new track that focuses on the no-reference IQA methods. The challenge has 192 and 179 registered participants for two tracks. In the final testing stage, 7 and 8 participating teams submitted their models and fact sheets. Almost all of them have achieved better results than existing IQA methods, and the winning method can demonstrate state-of-the-art performance.

研究动机与目标

• 应对现代图像处理流水线中日益严峻的感知图像质量评估挑战，特别是针对基于生成对抗网络（GAN）和感知导向算法的应用。
• 在包含先进图像恢复算法产生的真实世界失真类型的大型且多样化的数据集上，对现有及新型IQA方法进行基准测试。
• 通过设立专门的无参考IQA赛道，推动在复杂、非传统失真类型下的盲质量评估创新。
• 提供一个标准化的评估平台，用于对比和验证新IQA模型与人类感知指标的一致性。
• 通过结构化的挑战赛框架，促进社区范围内的竞争与协作，推动感知图像质量评估的发展。

提出的方法

• 采用PIPAL数据集，其中包含250张参考图像、29,000张失真图像以及188万条人类判断数据，用于训练和评估IQA模型。
• 设计了两个独立赛道：全参考IQA（将失真图像与参考图像进行比较）和无参考IQA（在无参考图像的情况下评估失真图像）。
• 采用深度学习架构，如Transformer、卷积神经网络（CNN）及混合网络，以建模感知质量，并通过注意力机制增强特征表示。
• 应用多损失训练策略，包括皮尔逊相关系数损失（Pearson correlation loss）、PLCC损失和三元组排序损失（triplet ranking loss），以使模型预测与人类判断对齐。
• 使用AdamW优化器，基础初始学习率为0.0001，采用50个周期的余弦退火学习率调度策略，批量大小为10。
• 引入集成方法与数据增强技术，以提升模型在各类失真类型下的泛化能力与鲁棒性。

实验结果

研究问题

• RQ1 基于深度学习的IQA模型能否在现代GAN生成的失真类型下有效预测人类对图像质量的感知？
• RQ2 与传统全参考方法相比，无参考IQA模型在感知失真类型下的表现如何？
• RQ3 哪些网络架构与损失函数设计能够在复杂、真实世界的失真类型上实现与人类主观判断的最高相关性？
• RQ4 集成方法与多损失训练在多大程度上提升了IQA模型在未见失真类型上的泛化能力与性能？
• RQ5 所提出的挑战赛框架能否作为未来感知IQA方法发展的可靠基准？

主要发现

• 全参考赛道获奖方法（THU1919Group）在PIPAL-NTIRE22-Test上的得分为1.6511，SROCC为0.8227，PLCC为0.8284，显著优于基线方法。
• 无参考赛道顶尖方法（THU_IIGROUP）得分为1.4436，SROCC为0.7040，PLCC为0.7396，展示了在无参考图像情况下的强大性能。
• 所有顶尖模型在两个赛道中均超越了现有基线方法，包括IQT（NTIRE-21优胜者）、LPIPS、DISTS、SSIM和PSNR。
• 注意力机制与多损失训练的结合显著提升了模型与人类判断的相关性，尤其在捕捉细微感知差异方面表现突出。
• 全参考与无参考赛道分别吸引了192名和179名注册参与者，最终有7支和8支团队提交了最终模型。
• 结果证实，结合精心设计损失函数的现代深度学习架构可在感知IQA任务中实现最先进性能，尤其在新型失真类型上表现优异。