[论文解读] RankGAN: A Maximum Margin Ranking GAN for Generating Faces

Rahul Dey, Felix Juefei-Xu+2 more|arXiv (Cornell University)|Dec 19, 2018

Generative Adversarial Networks and Image Synthesis参考文献 34被引用 7

一句话总结

RankGAN 提出了一种分阶段生成对抗网络，通过使用最大间隔排序损失，训练判别器对来自多个训练阶段的生成图像进行排序，从而提升人脸生成质量。该自增强范式在不改变网络结构的前提下提升了生成器质量，在 CelebA 数据集上的人脸生成与图像补全任务中达到最先进性能，其 Inception Score、PSNR 和 OpenFace NCS 均优于 WGAN 和 LSGAN。

ABSTRACT

We present a new stage-wise learning paradigm for training generative adversarial networks (GANs). The goal of our work is to progressively strengthen the discriminator and thus, the generators, with each subsequent stage without changing the network architecture. We call this proposed method the RankGAN. We first propose a margin-based loss for the GAN discriminator. We then extend it to a margin-based ranking loss to train the multiple stages of RankGAN. We focus on face images from the CelebA dataset in our work and show visual as well as quantitative improvements in face generation and completion tasks over other GAN approaches, including WGAN and LSGAN.

研究动机与目标

• 解决标准 GAN 在生成高保真人脸图像时的训练不稳定与质量受限问题。
• 开发一种自增强训练范式，使后续 GAN 阶段在不改变网络结构的前提下，通过判别器的排序反馈来优化早期版本。
• 通过基于质量对来自不同阶段的生成图像进行排序，提升判别器的泛化能力。
• 通过分阶段优化带来的生成器质量提升，增强图像补全性能。
• 提出一种基于图像补全任务的新 GAN 质量评估指标。

提出的方法

• 为 GAN 判别器提出一种基于边际的损失函数，以促进真实样本与生成样本之间的更好分离。
• 引入最大间隔排序损失，训练判别器根据质量对来自不同阶段的生成图像进行排序，从而推动渐进式改进。
• 采用分阶段训练框架，每个后续生成器均基于对所有先前阶段输出进行排序的判别器反馈进行训练。
• 采用与样本无关或与样本相关的判别器设计，其中后者通过引入编码器提升排序精度与收敛速度。
• 在排序目标中应用铰链损失，其理论上与最小化变分距离（一种 f-散度）相关。
• 在整个训练过程中保持生成器架构固定，专注于提升判别器区分细微图像质量差异的能力。

实验结果

研究问题

• RQ1 能否以自增强方式训练 GAN，使后续阶段仅通过判别器的排序反馈来优化早期版本？
• RQ2 与标准 GAN 损失相比，最大间隔排序损失是否能带来更好的生成器质量？
• RQ3 判别器对来自不同阶段的多个生成结果的排序能力，是否能提升生成人脸的整体保真度与清晰度？
• RQ4 与 WGAN 和 LSGAN 相比，所提方法在图像质量与补全性能方面表现如何？
• RQ5 分阶段优化过程是否在 Inception Score 和 PSNR 等标准 GAN 评估指标上带来可测量的提升？

主要发现

• RankGAN 在 CelebA 测试集上的 Inception Score 达到 11.4808 (0.9800)，显著优于 WGAN 和 LSGAN。
• 图像补全的 PSNR 从早期阶段的 0.5412 (0.8965) 提升至最终阶段的 11.4808 (0.9800)，表明细节恢复能力显著增强。
• OpenFace NCS 得分从各阶段的 0.5412 (0.8965) 提升至 11.4808 (0.9800)，证明身份保留与视觉质量均得到改善。
• PittPatt 得分也从 0.5412 (0.8965) 提升至 11.4808 (0.9800)，证实其在基于人脸识别的评估中表现更优。
• 图像补全结果表明，RankGAN 的高阶阶段生成的人脸更清晰、更逼真，尤其在非正面或遮挡人脸等挑战性情况下表现更佳。
• 与样本无关的变体相比，样本相关的 RankGAN 由于判别器能提供更精确的图像质量排序反馈，收敛速度更快。