[论文解读] On the Effectiveness of Spectral Discriminators for Perceptual Quality Improvement

Xin Luo, Yunan Zhu+2 more|arXiv (Cornell University)|Jul 22, 2023

Image and Video Quality AssessmentComputer Science被引用 3

一句话总结

本文提出一种结合空间判别器与光谱判别器的双流判别器，用于基于生成对抗网络（GAN）的图像超分辨率，通过提升光谱对齐性来增强感知质量。通过使用逐块傅里叶变换与基于Transformer的光谱聚合（SpecFormer），该方法在感知质量方面优于基线模型，并实现了更精确的无参考图像质量评估。

ABSTRACT

Several recent studies advocate the use of spectral discriminators, which evaluate the Fourier spectra of images for generative modeling. However, the effectiveness of the spectral discriminators is not well interpreted yet. We tackle this issue by examining the spectral discriminators in the context of perceptual image super-resolution (i.e., GAN-based SR), as SR image quality is susceptible to spectral changes. Our analyses reveal that the spectral discriminator indeed performs better than the ordinary (a.k.a. spatial) discriminator in identifying the differences in the high-frequency range; however, the spatial discriminator holds an advantage in the low-frequency range. Thus, we suggest that the spectral and spatial discriminators shall be used simultaneously. Moreover, we improve the spectral discriminators by first calculating the patch-wise Fourier spectrum and then aggregating the spectra by Transformer. We verify the effectiveness of the proposed method twofold. On the one hand, thanks to the additional spectral discriminator, our obtained SR images have their spectra better aligned to those of the real images, which leads to a better PD tradeoff. On the other hand, our ensembled discriminator predicts the perceptual quality more accurately, as evidenced in the no-reference image quality assessment task.

研究动机与目标

• 从频域角度探究光谱判别器在基于生成对抗网络（GAN）的图像超分辨率（SR）中的有效性。
• 分析空间判别器与光谱判别器在检测低频与高频范围差异方面的互补优势。
• 通过将1D-MLP输入替换为逐块傅里叶变换与基于Transformer的聚合方式，改进光谱判别器架构。
• 验证结合空间与光谱判别器可提升感知质量，并实现更精确的无参考图像质量评估（NR-IQA）。

提出的方法

• 提出一种双判别器架构，联合使用空间判别器与光谱判别器，以提升基于GAN的超分辨率中的感知质量。
• 引入SpecFormer，一种基于Transformer的光谱判别器，通过计算逐块傅里叶变换并利用自注意力机制聚合光谱信息。
• 采用傅里叶光谱的方位平均方法，分析真实图像与生成图像之间在频率分布上的差异。
• 采用双流训练策略，即空间判别器与光谱判别器分别独立训练，但在GAN优化过程中协同使用。
• 在图像超分辨率与无参考图像质量评估（NR-IQA）任务上验证方法性能，采用PSNR、SRCC、PLCC与KRCC等指标。
• 将RecycleD框架适配于NR-IQA任务，将其原有的空间判别器替换为一个结合空间与光谱判别器的集成模型，以提升质量预测性能。

实验结果

研究问题

• RQ1 光谱判别器与空间判别器在检测图像低频与高频分量差异方面表现如何？
• RQ2 光谱判别器能否有效补偿空间判别器对高频伪影的偏好？
• RQ3 通过引入逐块傅里叶变换与Transformer聚合方式改进光谱判别器架构后，是否能在超分辨率任务中实现更优的感知质量？
• RQ4 空间与光谱判别器的集成模型能否提升无参考图像质量评估性能？

主要发现

• 在高频范围差异检测方面，光谱判别器优于空间判别器；而在低频范围，空间判别器表现更优。
• 所提出的SpecFormer通过采用逐块傅里叶变换与Transformer聚合方式，相较于1D-MLP基线模型，显著提升了光谱判别器的性能。
• 双判别器（空间+光谱）在超分辨率任务中实现了最佳的感知质量，生成图像的光谱更接近真实图像，从而改善了感知-失真（PD）权衡。
• 在KonIQ-10k数据集上，VGG+SpecFormer组合在NR-IQA任务中取得了最高的SRCC（0.6321）与PLCC（0.6543），优于所有基线模型。
• 集成判别器在所有测试数据集上均提升了无参考图像质量评估性能，尤其在PIPAL与KonIQ-10k数据集上表现最佳。
• 消融实验表明，SpecFormer在各类空间判别器上均能持续提升性能，尤其与VGG结合时效果最为显著。