[论文解读] R\'{e}nyi Generative Adversarial Networks

Himesh Bhatia, William Paul+3 more|arXiv (Cornell University)|Jun 1, 2020

Generative Adversarial Networks and Image Synthesis参考文献 3被引用 2

一句话总结

本文提出了一种基于Rényi信息度量的生成对抗网络（GAN）损失函数，采用参数为$\alpha$的Rényi散度，该方法在保持原始GAN损失平衡点的同时，对其进行了泛化。该方法提升了训练稳定性，并生成了更高质量的图像，在64×64 CelebA图像上，RényiStyleGAN的FID得分达到8.33，优于标准StyleGAN的9.7分。

ABSTRACT

We propose a loss function for generative adversarial networks (GANs) using Renyi information measures with parameter $\alpha$. More specifically, we formulate GAN's generator loss function in terms of Renyi cross-entropy functionals. We demonstrate that for any $\alpha$, this generalized loss function preserves the equilibrium point satisfied by the original GAN loss based on the Jensen-Renyi divergence, a natural extension of the Jensen-Shannon divergence. We also prove that the Renyi-centric loss function reduces to the original GAN loss function as $\alpha o 1$. We show empirically that the proposed loss function, when implemented on both DCGAN (with $L_1$ normalization) and StyleGAN architectures, confers performance benefits by virtue of the extra degree of freedom provided by the parameter $\alpha$. More specifically, we show improvements with regard to: (a) the quality of the generated images as measured via the Frechet Inception Distance (FID) score (e.g., best FID=8.33 for RenyiStyleGAN vs 9.7 for StyleGAN when evaluated over 64$ imes$64 CelebA images) and (b) training stability. While it was applied to GANs in this study, the proposed approach is generic and can be used in other applications of information theory to deep learning, e.g., AI bias or privacy.

研究动机与目标

• 基于Rényi信息度量开发一种广义的GAN损失函数，以提升生成模型的性能。
• 在引入额外超参数$\alpha$的同时，保持原始GAN损失的平衡点。
• 在DCGAN和StyleGAN架构上对所提出的损失进行实证评估，以提升图像质量和训练稳定性。
• 证明Rényi中心损失在信息论深度学习中的更广泛应用潜力。

提出的方法

• 使用由$\alpha$参数化的Rényi交叉熵泛函来构建生成器损失。
• 在GAN框架中，将Rényi散度作为Jensen-Shannon散度的自然扩展。
• 证明对于任意$\alpha$，原始GAN的平衡条件均被保持。
• 证明当$\alpha \to 1$时，Rényi损失退化为原始GAN损失。
• 在DCGAN（采用$L_1$归一化）和StyleGAN架构上应用该损失，以进行实证评估。
• 采用Fréchet Inception Distance（FID）定量衡量图像质量的提升。

实验结果

研究问题

• RQ1 基于Rényi散度的损失函数是否能在保持原始GAN平衡点的同时，实现更优的训练动态？
• RQ2 超参数$\alpha$如何影响GAN中生成图像的质量和稳定性？
• RQ3 与标准GAN相比，Rényi中心损失是否带来可测量的FID得分提升？
• RQ4 所提出的损失能否推广至其他涉及信息论的深度学习应用？

主要发现

• 所提出的Rényi GAN损失在任意$\alpha$值下均保持原始GAN的平衡点。
• 当$\alpha$趋近于1时，Rényi损失退化为原始GAN损失，确保向后兼容性。
• RényiStyleGAN在64×64 CelebA图像上的FID得分为8.33，优于标准StyleGAN的9.7分。
• 该方法在DCGAN和StyleGAN架构上均提升了训练稳定性。
• 来自$\alpha$的额外自由度实现了更优的优化，生成了更高品质的图像。