[论文解读] RAN4IQA: Restorative Adversarial Nets for No-Reference Image Quality Assessment

Hongyu Ren, Diqi Chen+1 more|arXiv (Cornell University)|Dec 14, 2017

Image and Video Quality Assessment参考文献 29被引用 11

一句话总结

该论文提出RAN4IQA，一种基于生成对抗网络（GAN）的无参考图像质量评估模型，其灵感源自自由能脑理论，通过恢复失真图像块并测量恢复的感知增益（GoR）来模拟人类视觉系统的行为。该模型在TID2013和LIVE数据集上均达到最先进性能，在TID2013数据集上SROCC为0.948，PLCC为0.937，展现出卓越的泛化能力和鲁棒性。

ABSTRACT

Inspired by the free-energy brain theory, which implies that human visual system (HVS) tends to reduce uncertainty and restore perceptual details upon seeing a distorted image, we propose restorative adversarial net (RAN), a GAN-based model for no-reference image quality assessment (NR-IQA). RAN, which mimics the process of HVS, consists of three components: a restorator, a discriminator and an evaluator. The restorator restores and reconstructs input distorted image patches, while the discriminator distinguishes the reconstructed patches from the pristine distortion-free patches. After restoration, we observe that the perceptual distance between the restored and the distorted patches is monotonic with respect to the distortion level. We further define Gain of Restoration (GoR) based on this phenomenon. The evaluator predicts perceptual score by extracting feature representations from the distorted and restored patches to measure GoR. Eventually, the quality score of an input image is estimated by weighted sum of the patch scores. Experimental results on Waterloo Exploration, LIVE and TID2013 show the effectiveness and generalization ability of RAN compared to the state-of-the-art NR-IQA models.

研究动机与目标

• 开发一种无参考图像质量评估模型，以模拟人类视觉系统在评估失真图像时的行为。
• 解决现有无参考IQA方法忽略人类在质量评估过程中使用的感知恢复过程的局限性。
• 提出一种新指标——恢复增益（GoR），基于失真块与恢复块之间的感知距离。
• 通过对抗训练与感知损失，提升在多种失真类型和数据集上的泛化能力与鲁棒性。
• 在标准基准上验证该模型相较于最先进无参考IQA方法的优越性。

提出的方法

• 该模型由三个组件构成：一个用于重建失真图像块的恢复器，一个用于区分恢复块与原始块的判别器，以及一个基于GoR预测质量分数的评估器。
• 恢复器通过感知损失进行训练，以确保重建结果在视觉上合理且符合人类感知。
• 对抗训练采用Wasserstein距离以稳定GAN训练过程并提升生成器质量。
• GoR定义为失真块与恢复块之间的感知距离，其与失真程度呈单调关系。
• 最终图像质量分数通过加权求和方式计算，权重由失真严重程度决定。
• 评估器在Waterloo Exploration数据集上使用基于FSIM的标签进行预训练，并在TID2013和LIVE数据集上进行微调，以实现跨数据集泛化。

实验结果

研究问题

• RQ1 基于GAN的模型若能模拟人类视觉系统恢复行为，是否可实现更优的无参考图像质量评估性能？
• RQ2 恢复的感知增益（GoR）是否与失真程度呈单调关系，从而支持可靠的性能预测？
• RQ3 引入感知损失与Wasserstein GAN训练如何提升图像恢复质量及后续质量评估性能？
• RQ4 该模型在不同数据集上（包含多种失真类型与程度）的泛化能力如何？
• RQ5 各组件（恢复器、判别器、评估器及加权评分策略）对整体性能的贡献分别是什么？

主要发现

• RAN4IQA在TID2013数据集上取得SROCC为0.948、PLCC为0.937的性能，优于所有最先进无参考IQA方法。
• 在TID2013数据集上，该模型在SROCC与PLCC指标上均显著优于所有其他无参考IQA模型（p < 0.05）。
• 在LIVE数据集上，RAN4IQA在所有对比的无参考IQA方法中表现最佳，展现出强大的泛化能力。
• 消融实验表明，移除判别器导致性能下降最大（SROCC降至0.854），表明其在引导恢复器方面具有关键作用。
• 移除感知损失或加权评分策略也导致显著性能下降，证实二者在保持感知一致性和空间保真度方面的重要性。
• 不使用Wasserstein损失的模型性能略差（SROCC: 0.936），表明其在训练过程中具有稳定作用。