[论文解读] Quality-aware Pre-trained Models for Blind Image Quality Assessment

Kai Zhao, Kun Yuan+3 more|arXiv (Cornell University)|Mar 1, 2023

Image and Video Quality Assessment被引用 6

一句话总结

本文提出了一种用于无参考图像质量评估（BIQA）的感知质量预训练（QPT）模型，采用自监督对比学习框架，从ImageNet中学习无标签质量数据的敏感表征。通过设计包含2×10⁷种可能失真类型的复杂失真空间及感知质量的对比损失，QPT在五个基准测试中显著提升了下游BIQA性能，SRCC最高提升8.75%。

ABSTRACT

Blind image quality assessment (BIQA) aims to automatically evaluate the perceived quality of a single image, whose performance has been improved by deep learning-based methods in recent years. However, the paucity of labeled data somewhat restrains deep learning-based BIQA methods from unleashing their full potential. In this paper, we propose to solve the problem by a pretext task customized for BIQA in a self-supervised learning manner, which enables learning representations from orders of magnitude more data. To constrain the learning process, we propose a quality-aware contrastive loss based on a simple assumption: the quality of patches from a distorted image should be similar, but vary from patches from the same image with different degradations and patches from different images. Further, we improve the existing degradation process and form a degradation space with the size of roughly $2 imes10^7$. After pre-trained on ImageNet using our method, models are more sensitive to image quality and perform significantly better on downstream BIQA tasks. Experimental results show that our method obtains remarkable improvements on popular BIQA datasets.

研究动机与目标

• 解决无参考图像质量评估（BIQA）中标签数据有限的问题，该问题限制了深度学习的性能。
• 克服现有预训练模型（如ImageNet）在语义上优化但缺乏图像质量敏感性的迁移能力不足问题。
• 开发一种专为BIQA设计的自监督掩蔽任务，以捕捉对低层次失真及内容-质量交互的敏感性。
• 构建一个大规模且真实的失真空间，以模拟真实的图像失真，提升表征学习效果。

提出的方法

• 设计一种新颖的失真过程，结合打乱顺序、高阶操作和跳跃连接，以模拟复杂的现实世界失真。
• 构建一个约2×10⁷种不同失真类型的失真空间，为对比学习提供多样化的数据增强。
• 提出一种感知质量对比损失（QC-Loss），将同一失真图像中的图像块视为正样本对，同时区分不同图像间的样本（基于内容的负样本）和不同失真类型间的样本（基于失真的负样本）。
• 对MoCoV2框架进行适配，用于自监督预训练，利用QC-Loss使模型对图像质量敏感，而非对语义内容敏感。
• 使用所提出的QC-Loss和失真增强在ImageNet上进行预训练，随后在下游BIQA数据集上进行微调或线性探测。
• 通过在多个BIQA基准上复用相同的预训练权重，确保模型的泛化能力，无需针对特定任务进行调整。

Figure 1 : The two images in the first row are sampled from BIQA dataset CLIVE [ 20 ] . Although they have the same semantic meaning, their perceptual qualities are quite different: their mean opinion scores (MOS) are 31.83 and 86.35. The second row shows modified versions of the first two images an

实验结果

研究问题

• RQ1 一种强调图像质量差异的自监督掩蔽任务，能否提升无参考图像质量评估的表征学习能力？
• RQ2 大规模且多样的失真空间在多大程度上增强了预训练特征在BIQA中的感知质量能力？
• RQ3 在对比学习目标中，基于内容的负样本与基于失真的负样本的相对贡献如何？
• RQ4 与标准对比学习或监督预训练相比，所提出的QC-Loss在多大程度上提升了下游BIQA性能？

主要发现

• 所提出的QPT方法在五个标准BIQA基准上实现了最先进性能，在BID数据集上SRCC达到0.8875，PLCC达到0.9109。
• 在CLIVE数据集上，QPT的SRCC为0.8947，PLCC为0.9141，线性探测评估中相比MoCo的SRCC提升8.75%，PLCC提升8.17%。
• 消融实验证实，同时包含样本间（基于内容）和样本内（基于失真）负样本对时性能最佳，若移除样本间负样本则性能显著下降。
• 失真过程中结合打乱、高阶和跳跃操作的组合可获得最高性能，在BID数据集上SRCC为0.8875，PLCC为0.9109。
• 使用QPT权重进行端到端微调可获得最高结果（BID数据集上SRCC: 0.8875，PLCC: 0.9109），证实所学习特征在超越线性探测时仍具有效性。
• QPT预训练模型在不同数据集间具有良好的泛化能力，展现出强大的迁移能力，无需微调或适应。

Figure 2 : Illustration of generating distorted images using different compositions of degradation. Compared with the process of fixed sequence, the introduced skip, shuffle and high-order largely increase the degradation space, covering diverse and realistic distortions.