[论文解读] PIPAL: a Large-Scale Image Quality Assessment Dataset for Perceptual Image Restoration

Jinjin Gu, Haoming Cai+4 more|arXiv (Cornell University)|Jul 23, 2020

Image and Video Quality Assessment参考文献 59被引用 10

一句话总结

本文提出了 PIPAL，一个大规模图像质量评估（IQA）数据集，包含超过113万条使用Elo评分系统的主观人类判断，专为评估感知图像恢复效果而设计，尤其针对基于GAN的方法。研究发现，现有IQA方法在评估GAN生成图像时表现不佳，主要原因是对空间错位敏感；为此，本文提出抗混叠池化方法以提升鲁棒性，在基于GAN的失真类型上显著提升了性能。

ABSTRACT

Image quality assessment (IQA) is the key factor for the fast development of image restoration (IR) algorithms. The most recent IR methods based on Generative Adversarial Networks (GANs) have achieved significant improvement in visual performance, but also presented great challenges for quantitative evaluation. Notably, we observe an increasing inconsistency between perceptual quality and the evaluation results. Then we raise two questions: (1) Can existing IQA methods objectively evaluate recent IR algorithms? (2) When focus on beating current benchmarks, are we getting better IR algorithms? To answer these questions and promote the development of IQA methods, we contribute a large-scale IQA dataset, called Perceptual Image Processing Algorithms (PIPAL) dataset. Especially, this dataset includes the results of GAN-based methods, which are missing in previous datasets. We collect more than 1.13 million human judgments to assign subjective scores for PIPAL images using the more reliable "Elo system". Based on PIPAL, we present new benchmarks for both IQA and super-resolution methods. Our results indicate that existing IQA methods cannot fairly evaluate GAN-based IR algorithms. While using appropriate evaluation methods is important, IQA methods should also be updated along with the development of IR algorithms. At last, we improve the performance of IQA networks on GAN-based distortions by introducing anti-aliasing pooling. Experiments show the effectiveness of the proposed method.

研究动机与目标

• 为解决现代图像恢复中感知图像质量与定量IQA指标之间日益增长的不一致性问题。
• 探究现有IQA方法是否能公平评估基于GAN的图像恢复算法。
• 利用大规模、基于感知的数据集，建立IQA与超分辨率方法的新基准。
• 识别当前IQA网络的局限性，尤其是其对GAN生成输出中特征空间错位的敏感性。
• 通过引入抗混叠池化层，提升IQA模型在基于GAN的失真类型上的性能。

提出的方法

• 构建PIPAL，一个大规模IQA数据集，包含29,000张图像，其中包含250张参考图像和每张图像116种失真类型，涵盖基于GAN的输出结果。
• 采用Elo评分系统收集超过113万条人类判断，确保主观评分具有可靠性与概率基础。
• 基于PIPAL数据集设计新的IQA与超分辨率评估基准，用于衡量算法性能。
• 识别空间错位是导致IQA在基于GAN的失真上性能下降的关键因素。
• 将抗混叠池化层（如l2池化与BlurPool）集成至IQA网络（如LPIPS-Alex）中，以提升对微小位移的鲁棒性。
• 在完整PIPAL数据集与基于GAN的失真子集上，使用SRCC与KRCC评估IQA模型，以验证性能改进。

实验结果

研究问题

• RQ1 现有IQA方法能否客观评估基于GAN的图像恢复算法？这类算法常生成感知上逼真但带有伪影的输出。
• RQ2 在评估基于GAN的失真时，当前IQA指标与人类感知的相关性如何？
• RQ3 为何传统IQA方法（如FSIM C与LPIPS）难以准确评估GAN生成的图像？
• RQ4 IQA模型在基于GAN的失真上表现不佳，是否源于其对特征空间错位的敏感性？
• RQ5 抗混叠池化能否提升IQA网络在基于GAN的失真上的鲁棒性与准确性？

主要发现

• 现有IQA方法（包括FSIM C与LPIPS）在基于GAN的失真上与人类判断的相关性较差，SRCC在GAN失真上降至0.41。
• LPIPS基线在完整PIPAL数据集上的SRCC为0.5604，在基于GAN的子集上为0.4862，表明仍有显著改进空间。
• 在LPIPS-Alex中引入BlurPool后，SRCC在完整数据集上提升至0.5918，在GAN子集上提升至0.5135，表明性能有明显提升。
• 空间形变失真类型在IQA模型中的表现与基于GAN的失真类似，FSIM C的SRCC仅为0.31，表明存在共同挑战。
• 抗混叠池化（尤其是BlurPool）能有效提升特征对微小空间错位的鲁棒性，直接解决了当前IQA网络的关键缺陷。
• PIPAL数据集揭示，基于GAN的失真在以往IQA基准中未被充分代表，凸显了评估基础设施中的关键空白。