[论文解读] No-Reference Color Image Quality Assessment: From Entropy to Perceptual Quality

Xiaoqiao Chen, Qingyi Zhang+3 more|arXiv (Cornell University)|Dec 27, 2018

Image and Video Quality Assessment参考文献 48被引用 9

一句话总结

该论文提出ENIQA，一种通用的无参考图像质量评估方法，通过在空域和频域中利用图像熵与互信息来提取判别性特征。采用支持向量分类与回归，ENIQA在LIVE和TID2013数据库上达到最先进性能，表现出与主观评估高度一致，并在各类失真类型和数据库间展现出强大的泛化能力。

ABSTRACT

This paper presents a high-performance general-purpose no-reference (NR) image quality assessment (IQA) method based on image entropy. The image features are extracted from two domains. In the spatial domain, the mutual information between the color channels and the two-dimensional entropy are calculated. In the frequency domain, the two-dimensional entropy and the mutual information of the filtered sub-band images are computed as the feature set of the input color image. Then, with all the extracted features, the support vector classifier (SVC) for distortion classification and support vector regression (SVR) are utilized for the quality prediction, to obtain the final quality assessment score. The proposed method, which we call entropy-based no-reference image quality assessment (ENIQA), can assess the quality of different categories of distorted images, and has a low complexity. The proposed ENIQA method was assessed on the LIVE and TID2013 databases and showed a superior performance. The experimental results confirmed that the proposed ENIQA method has a high consistency of objective and subjective assessment on color images, which indicates the good overall performance and generalization ability of ENIQA. The source code is available on github https://github.com/jacob6/ENIQA.

研究动机与目标

• 开发一种无需参考图像的通用无参考图像质量评估（IQA）方法。
• 通过在空域与频域中利用图像熵与互信息，提升IQA的准确率与鲁棒性。
• 确保客观评分与人类主观感知在各类失真类型下保持高度一致性。
• 在保持优于现有无参考IQA方法性能的同时，实现较低的计算复杂度。
• 通过在LIVE与TID2013数据库间的跨库测试，验证模型的泛化能力。

提出的方法

• 从空域的颜色通道中提取二维熵（TE）与互信息（MI）。
• 应用对数高斯滤波将图像分解为子带，然后在频域的每个滤波子带上计算TE与MI。
• 将空域与频域特征融合为统一的特征向量以表示图像。
• 使用支持向量分类器（SVC）对图像失真类型进行分类，使用支持向量回归（SVR）预测最终质量评分。
• 在LIVE数据库上训练模型，并通过交叉验证与跨库测试，在LIVE与TID2013数据库上进行评估。
• 采用混合特征提取策略，结合结构信息（熵与互信息）与通过显著性感知滤波实现的感知相关性。

实验结果

研究问题

• RQ1 仅基于熵与互信息的无参考IQA方法是否能在无需参考图像的情况下实现高准确率？
• RQ2 所提出方法在JPEG、JP2K、噪声与模糊等不同类型图像失真上的泛化能力如何？
• RQ3 结合空域与频域特征在多大程度上提升了客观评分与主观MOS之间的相关性？
• RQ4 所提出方法在标准基准数据库上与最先进全参考（FR）与无参考（NR-IQA）方法相比表现如何？
• RQ5 在LIVE数据库上训练的模型是否能在不重新训练的情况下有效泛化至TID2013数据库？

主要发现

• 在TID2013数据库上，ENIQA的斯皮尔曼等级相关系数（SROCC）达到0.8973，皮尔逊线性相关系数（PLCC）达到0.9009，优于所有测试的其他无参考IQA方法。
• 在LIVE数据库上，ENIQA的SROCC为0.9244，PLCC为0.9140，表明其与主观MOS评分高度一致。
• 模型展现出优异的泛化能力，当在LIVE上训练并在TID2013上测试时，仍保持竞争力，SROCC为0.8973，RMSE为0.6067。
• 五类失真类型的分类平均准确率达71.27%，其中白噪声（WN）准确率最高（82.58%），在JPEG与JP2K上也表现强劲。
• 散点图显示预测评分均匀分布且与DMOS/MOS呈强线性相关，证实了方法的鲁棒性与一致性。
• 在两个数据库上，ENIQA均优于BRISQUE、NIQE及其他领先无参考IQA方法，尤其在跨库评估中表现突出。