[论文解读] Re-IQA: Unsupervised Learning for Image Quality Assessment in the Wild

Avinab Saha, Sandeep Mishra+1 more|arXiv (Cornell University)|Apr 2, 2023

Image and Video Quality Assessment被引用 4

一句话总结

本文提出 Re-IQA，一种新颖的无监督学习框架，通过混合专家（Mixture of Experts）设置，联合学习互补的高层内容表征与低层图像质量表征。通过在重叠图像块和多样化失真上对两个独立编码器进行对比学习训练，Re-IQA 在多个无参考图像质量评估基准上实现了最先进性能，表明无监督的质量感知特征能显著提升线性回归器的性能。

ABSTRACT

Automatic Perceptual Image Quality Assessment is a challenging problem that impacts billions of internet, and social media users daily. To advance research in this field, we propose a Mixture of Experts approach to train two separate encoders to learn high-level content and low-level image quality features in an unsupervised setting. The unique novelty of our approach is its ability to generate low-level representations of image quality that are complementary to high-level features representing image content. We refer to the framework used to train the two encoders as Re-IQA. For Image Quality Assessment in the Wild, we deploy the complementary low and high-level image representations obtained from the Re-IQA framework to train a linear regression model, which is used to map the image representations to the ground truth quality scores, refer Figure 1. Our method achieves state-of-the-art performance on multiple large-scale image quality assessment databases containing both real and synthetic distortions, demonstrating how deep neural networks can be trained in an unsupervised setting to produce perceptually relevant representations. We conclude from our experiments that the low and high-level features obtained are indeed complementary and positively impact the performance of the linear regressor. A public release of all the codes associated with this work will be made available on GitHub.

研究动机与目标

• 开发一种无监督框架，学习感知相关、互补的低层图像质量与高层内容表征，用于无参考图像质量评估。
• 解决在无参考图像且失真多样且依赖内容的真实场景中，准确预测图像质量的挑战。
• 证明在真实失真图像上进行无监督预训练，可获得与监督基线相媲美高质量的特征。
• 验证混合专家方法在解耦内容与质量表征以提升 IQA 性能方面的有效性。

提出的方法

• 通过混合专家框架训练两个独立编码器：一个使用 MoCo-v2 对比学习进行高层内容特征学习，另一个用于低层质量感知特征学习。
• 质量感知编码器基于重叠图像块设计对比学习目标，以学习感知质量相关的特征（PQAF），假设质量感知在局部具有相似性。
• 来自同一图像的图像块作为正样本对，而来自不同图像的图像块则作为负样本对，以强制学习具有区分性的质量表征。
• 该框架基于三个关键假设：(1) 质量感知在图像内部因内容而异，(2) 不同来源的图像具有不同的质量，(3) 同一图像的不同失真版本产生不同的感知质量评分。
• 预训练完成后，冻结的编码器提取的特征被输入线性回归器，用于从 KonIQ、AVA 和 LIVE-IQA 等数据库中预测真实质量评分。
• 该方法在无参考（Re-IQA-NR）和全参考（Re-IQA-FR）设置下进行评估，并对图像块重叠程度和模型组件进行了消融研究。

实验结果

研究问题

• RQ1 无监督对比学习能否有效提取与高层内容特征互补的低层质量感知图像表征？
• RQ2 联合使用内容与质量表征是否能提升无参考图像质量评估性能，相比单独使用任一表征？
• RQ3 在真实世界失真图像上进行无监督预训练，与在 ImageNet 上进行监督预训练相比，对 IQA 表征学习有何影响？
• RQ4 关于图像内部与图像之间感知质量变化的假设，在多大程度上支持有效的表征学习？

主要发现

• Re-IQA 在多个大规模 IQA 数据库（包括 KonIQ、AVA 和 LIVE-IQA）上实现了最先进性能，其在 KonIQ 和 AVA 上的斯皮尔曼等级相关系数（SRCC）均超过 0.85。
• Re-IQA-FR 变体（使用参考图像）在 SRCC 和 PLCC 上略优于 Re-IQA-NR，证实了额外参考信息的有益作用。
• 质量感知特征的 t-SNE 可视化显示高质量与低质量图像呈现清晰聚类，重叠极少，表明感知质量层级被有效分离。
• 消融研究证实，图像块重叠程度显著影响性能，中等重叠程度时达到最优结果，验证了局部质量感知假设。
• 通过 MoCo-v2 无监督预训练的 ResNet-50 编码器在 IQA 任务中，其内容表征质量优于在 ImageNet 上监督预训练的 ResNet-50，凸显了在真实失真数据上进行自监督预训练的优势。