[论文解读] Quality Aware Generative Adversarial Networks

Parimala Kancharla, Sumohana S. Channappayya|arXiv (Cornell University)|Nov 8, 2019

Image and Video Quality Assessment被引用 19

一句话总结

本文提出质量感知生成对抗网络（QAGANs），将客观图像质量度量——特别是SSIM的一种变体以及受NIQE启发的新型梯度惩罚——整合进WGAN-GP框架，以提升生成图像的质量。该方法在CIFAR-10、STL-10和CelebA数据集上实现了SOTA的FID与IS得分，表明显式地将图像质量度量作为正则化项，可显著提升视觉保真度与训练稳定性。

ABSTRACT

Generative Adversarial Networks (GANs) have become a very popular tool for implicitly learning high-dimensional probability distributions. Several improvements have been made to the original GAN formulation to address some of its shortcomings like mode collapse, convergence issues, entanglement, poor visual quality etc. While a significant effort has been directed towards improving the visual quality of images generated by GANs, it is rather surprising that objective image quality metrics have neither been employed as cost functions nor as regularizers in GAN objective functions. In this work, we show how a distance metric that is a variant of the Structural SIMilarity (SSIM) index (a popular full-reference image quality assessment algorithm), and a novel quality aware discriminator gradient penalty function that is inspired by the Natural Image Quality Evaluator (NIQE, a popular no-reference image quality assessment algorithm) can each be used as excellent regularizers for GAN objective functions. Specifically, we demonstrate state-of-the-art performance using the Wasserstein GAN gradient penalty (WGAN-GP) framework over CIFAR-10, STL10 and CelebA datasets.

研究动机与目标

• 为解决尽管客观图像质量评估（IQA）度量在生成结果评估中被广泛使用，但在GAN训练目标中缺乏显式整合的问题。
• 通过在WGAN-GP框架中引入全参考（SSIM）与无参考（NIQE）IQA度量作为正则化项，提升GAN的视觉质量与训练稳定性。
• 证明通过IQA度量捕捉自然图像的统计与结构特征，可生成更真实、更高品质的图像样本。
• 表明所提出的正则化项不仅在非渐进式GAN中有效，也可成功应用于渐进式架构（如PGGAN），提升收敛速度与图像质量。

提出的方法

• 提出一种基于自然图像局部统计特征的质量感知判别器梯度惩罚，灵感来源于无参考IQA度量NIQE。
• 在WGAN-GP目标函数中引入SSIM的改进变体作为正则化项，以促进真实图像与生成图像之间的结构相似性。
• 通过修改梯度惩罚项，将IQA相关约束整合进WGAN-GP框架，确保判别器的梯度范数惩罚基于感知质量。
• 采用双重正则化策略：一项使用SSIM实现全参考质量监督，另一项使用NIQE实现无参考质量建模。
• 将该方法扩展至渐进式GAN（PGGAN），在渐进训练的各个阶段应用相同正则化项，提升高分辨率下的收敛性与图像质量。
• 使用FID与Inception Score（IS）作为评估指标，定量比较QAGANs与SOTA基线模型（包括WGAN-GP、SNGAN、MMD GAN与Banach WGANs）的性能。

实验结果

研究问题

• RQ1 能否将SSIM与NIQE等客观图像质量度量有效用作GAN训练中的正则化项，以在标准GAN损失之外进一步提升图像质量？
• RQ2 与标准WGAN-GP相比，引入基于NIQE的梯度惩罚如何影响GAN的训练动态与视觉质量？
• RQ3 IQA度量的整合是否能在FID与IS上均带来一致提升，表明样本具有更好的多样性与真实性？
• RQ4 所提出的质量感知正则化项是否可成功应用于渐进式GAN架构（如PGGAN），并加速收敛或提升样本质量？
• RQ5 为何基于NIQE的正则化项在CIFAR-10上表现出不一致的IS性能？图像分辨率如何影响无参考IQA度量估计的可靠性？

主要发现

• 在CIFAR-10（64×64）上，采用SSIM正则化的QAGAN实现13.91 ± 0.105的Fréchet Inception Distance（FID），优于WGAN-GP（FID: 40.2）与SNGAN（FID: 21.5）。
• 在CelebA（64×64）上，QAGAN（SSIM）实现6.421的FID，优于MMD GAN-rep-b（6.79）与Banach WGAN（10.5），表现SOTA。
• 在STL-10（96×96）上，QAGAN（SSIM）实现IS 9.66 ± 0.18与FID 3.7155 ± 0.004，显著优于PGGAN（256×256时FID: 62.86）及其他基线模型。
• 基于NIQE的正则化项将CelebA（256×256）上的FID从PGGAN的62.86降低至40.83（PGGAN + QAGAN-SSIM）与47.27（PGGAN + QAGAN-NIQE），表明收敛更快且质量更高。
• 在CIFAR-10（32×32）上，基于NIQE的正则化项表现出不一致的IS性能（7.87 ± 0.027），可能由于低分辨率下参数估计不佳，表明其对图像尺寸敏感。
• 所提出的正则化项在各数据集上均一致提升FID与IS，表明QAGAN生成的样本不仅更真实，且更具多样性与感知优越性。