[论文解读] PSCR: Patches Sampling-based Contrastive Regression for AIGC Image Quality Assessment

Jiquan Yuan, Xinyan Cao+3 more|arXiv (Cornell University)|Dec 10, 2023

Advanced Image Fusion Techniques被引用 4

一句话总结

本文提出PSCR，一种基于图像块采样对比回归框架的AIGC图像质量评估方法，通过在查询图像与样本图像之间进行相对分数回归，学习判别性表征空间，同时通过重叠图像块采样避免几何失真。该方法在三个主要AIGCIQA基准上取得最先进性能，SRCC提升最高达+0.016，PLCC提升最高达+0.012。

ABSTRACT

In recent years, Artificial Intelligence Generated Content (AIGC) has gained widespread attention beyond the computer science community. Due to various issues arising from continuous creation of AI-generated images (AIGI), AIGC image quality assessment (AIGCIQA), which aims to evaluate the quality of AIGIs from human perception perspectives, has emerged as a novel topic in the field of computer vision. However, most existing AIGCIQA methods directly regress predicted scores from a single generated image, overlooking the inherent differences among AIGIs and scores. Additionally, operations like resizing and cropping may cause global geometric distortions and information loss, thus limiting the performance of models. To address these issues, we propose a patches sampling-based contrastive regression (PSCR) framework. We suggest introducing a contrastive regression framework to leverage differences among various generated images for learning a better representation space. In this space, differences and score rankings among images can be measured by their relative scores. By selecting exemplar AIGIs as references, we also overcome the limitations of previous models that could not utilize reference images on the no-reference image databases. To avoid geometric distortions and information loss in image inputs, we further propose a patches sampling strategy. To demonstrate the effectiveness of our proposed PSCR framework, we conduct extensive experiments on three mainstream AIGCIQA databases including AGIQA-1K, AGIQA-3K and AIGCIQA2023. The results show significant improvements in model performance with the introduction of our proposed PSCR framework. Code will be available at \url{https://github.com/jiquan123/PSCR}.

研究动机与目标

• 解决现有AIGCIQA方法直接从单张图像回归分数，而未利用图像间差异的局限性。
• 克服图像预处理（如缩放与裁剪）导致的几何失真与信息丢失所引发的性能下降问题。
• 使无参考AIGCIQA模型能够利用样本参考图像进行更优的分数回归，突破以往方法的关键限制。
• 开发一种鲁棒且可泛化的框架，通过建模AIGI之间的相对质量排序，增强表征学习能力。
• 通过引入基于滑动窗口的重叠图像块采样策略，最小化AIGI输入中的信息丢失与结构破坏。

提出的方法

• 提出一种对比回归框架，通过回归查询AIGI与一组随机选取的样本AIGI之间的相对分数，利用排序感知监督实现更优的表征学习。
• 引入基于滑动窗口在原始分辨率AIGI上提取重叠与非重叠图像块的图像块采样策略，以保留全局结构并最小化信息丢失。
• 使用深度神经网络主干网络（如VGG、ResNet、InceptionV4）提取采样图像块的特征，随后通过全局池化与回归头进行分数预测。
• 使用对比损失进行模型训练，该损失鼓励相似相对分数图像的表征更接近，而不同分数图像的表征更远离。
• 将PSCR框架作为即插即用模块集成到现有IQA模型中，支持灵活适配不同主干网络与数据集。
• 应用数据增强与归一化技术，以提升在多样化AIGI分布下的训练稳定性与泛化能力。

实验结果

研究问题

• RQ1 通过建模AIGI之间的相对质量差异，对比回归框架能否提升AIGCIQA性能？
• RQ2 与标准裁剪或缩放相比，使用滑动窗口的重叠图像块采样是否能更有效地减少几何失真与信息丢失？
• RQ3 利用样本参考图像能否在无参考AIGCIQA中超越单图像回归的性能表现？
• RQ4 在多个AIGCIQA基准上，PSCR框架与最先进方法相比，在SRCC与PLCC指标上的表现如何？
• RQ5 图像块采样策略的超参数（如步长、图像块大小）对模型性能与效率有何影响？

主要发现

• PSCR框架在AGIQA-1K、AGIQA-3K与AIGCIQA2023上均达到最先进性能，采用InceptionV4作为主干时，SRCC达0.8498，PLCC达0.9059。
• 采用InceptionV4的PSCR变体相比基线模型，SRCC提升0.016，PLCC提升0.0058，展现出显著的性能增益。
• 消融实验证实，图像块采样（PS）与对比回归（CR）组件均独立且协同地促进性能提升。
• 在所有三个数据集上，该方法均优于所有基线模型（VGG16、VGG19、ResNet18、ResNet50、InceptionV4），尤其在AIGCIQA2023上提升最大。
• 使用样本AIGI作为参考，使模型能够学习到更鲁棒且更具泛化能力的表征，尤其在低质量或高度失真的图像区域表现更优。
• 滑动窗口图像块采样策略有效减少信息丢失，同时保留对AIGI质量评估至关重要的局部纹理与伪影特征。