[论文解读] RankIQA: Learning from Rankings for No-reference Image Quality Assessment

Xialei Liu, Joost van de Weijer+1 more|arXiv (Cornell University)|Jul 26, 2017

Image and Video Quality Assessment参考文献 49被引用 27

一句话总结

RankIQA 提出了一种无参考图像质量评估方法，该方法在合成生成的、质量相对关系已知的图像对上训练孪生网络，随后将该知识迁移至卷积神经网络（CNN）以实现绝对质量预测。该方法在 TID2013 上实现了最先进性能（提升 5%），并在 LIVE 数据集上超越了全参考 IQA 方法，且无需使用参考图像。

ABSTRACT

We propose a no-reference image quality assessment (NR-IQA) approach that learns from rankings (RankIQA). To address the problem of limited IQA dataset size, we train a Siamese Network to rank images in terms of image quality by using synthetically generated distortions for which relative image quality is known. These ranked image sets can be automatically generated without laborious human labeling. We then use fine-tuning to transfer the knowledge represented in the trained Siamese Network to a traditional CNN that estimates absolute image quality from single images. We demonstrate how our approach can be made significantly more efficient than traditional Siamese Networks by forward propagating a batch of images through a single network and backpropagating gradients derived from all pairs of images in the batch. Experiments on the TID2013 benchmark show that we improve the state-of-the-art by over 5%. Furthermore, on the LIVE benchmark we show that our approach is superior to existing NR-IQA techniques and that we even outperform the state-of-the-art in full-reference IQA (FR-IQA) methods without having to resort to high-quality reference images to infer IQA.

研究动机与目标

• 解决大规模、人工标注的 IQA 数据集稀缺的问题，这限制了深度卷积神经网络的训练。
• 克服收集图像质量人类评分（MOS）所需高昂成本和高人力投入的问题。
• 开发一种利用合成生成的图像排序来预训练鲁棒 IQA 特征的方法。
• 通过基于排序的预训练而非直接在稀疏标注数据上进行回归，实现更深更宽网络的训练。
• 在无参考图像的前提下，于标准 IQA 基准测试中实现更优性能。

提出的方法

• 训练孪生网络以比较图像对并利用已知质量排序的合成失真图像预测相对质量。
• 通过在干净图像上应用不同程度的失真，生成大规模的排序数据集，确保已知的质量排序关系。
• 通过微调将预训练孪生网络的知识迁移至标准 CNN，用于绝对质量回归。
• 提出一种高效的反向传播方法，通过单次前向传播处理批量中的所有图像对，并从所有成对比较中计算梯度。
• 将孪生网络的嵌入空间用作特征提取器，随后在真实 IQA 数据集（如 LIVE 和 TID2013）上微调最终的回归头。
• 通过在非 IQA 数据集（如 Places2）上训练并在 LIVE 上微调，证明了方法的可迁移性，达到相近性能。

实验结果

研究问题

• RQ1 能否仅使用已排序的图像对而非人工标注的质量评分，使深度学习模型在无参考 IQA 中实现最先进性能？
• RQ2 从合成生成的排序中学习到的知识是否能在多种失真类型间泛化，并提升无参考 IQA 的泛化能力？
• RQ3 所提出的孪生网络高效反向传播方法是否相比标准采样策略能实现更快收敛和更优性能？
• RQ4 在非 IQA 数据集（如 Places2）上预训练的模型，经微调后是否仍能在 IQA 基准上实现高性能？
• RQ5 无参考 IQA 模型是否可能在未获取原始无失真图像的情况下，超越全参考 IQA 方法？

主要发现

• 在 TID2013 基准测试中，RankIQA+FT 在 LCC 和 SROCC 指标上均实现超过 5% 的性能提升，达到最先进水平。
• 在 LIVE 数据集上，RankIQA+FT 在所有失真类型下均取得 LCC 0.981 和 SROCC 0.980 的成绩，优于现有无参考 IQA 方法，甚至超越了最先进的全参考 IQA 方法 DCNN。
• 在 LIVE 数据集的 JPEG 失真子集上，RankIQA 达到 SROCC 0.991 和 LCC 0.994，展现出在挑战性失真下的强大性能。
• 在 Places2 数据集上训练的 RankIQA 模型，性能与在 Waterloo 数据集上训练的模型几乎完全一致（SROCC: 0.980, LCC: 0.981），证明其对 IQA 专用数据的独立性。
• 所提出的高效反向传播方法相比标准成对采样和难样本挖掘策略，收敛更快且损失更低。
• 模型在训练阶段未见过的失真类型上也表现出良好泛化能力，表明不同失真类型间存在共享的底层质量表征。