[论文解读] PeerGAN: Generative Adversarial Networks with a Competing Peer Discriminator

Jiaheng Wei, Minghao Liu+4 more|arXiv (Cornell University)|Jan 19, 2021

Generative Adversarial Networks and Image Synthesis参考文献 47被引用 5

一句话总结

PeerGAN 提出了一种新颖的 GAN 架构，引入一个竞争性的同伴判别器 $D_2$，以增强训练稳定性并缓解模式崩溃。通过在 $D_1$ 和 $D_2$ 之间引入一个抑制共识的极小-极大博弈，PeerGAN 在无需标签或显著计算开销的情况下，提升了样本的多样性和质量，在 MNIST、CIFAR-10 和 CelebA 上优于基线模型。

ABSTRACT

In this paper, we introduce PeerGAN, a generative adversarial network (GAN) solution to improve the stability of the generated samples and to mitigate mode collapse. Built upon the Vanilla GAN's two-player game between the discriminator $D_1$ and the generator $G$, we introduce a peer discriminator $D_2$ to the min-max game. Similar to previous work using two discriminators, the first role of both $D_1$, $D_2$ is to distinguish between generated samples and real ones, while the generator tries to generate high-quality samples which are able to fool both discriminators. Different from existing methods, we introduce another game between $D_1$ and $D_2$ to discourage their agreement and therefore increase the level of diversity of the generated samples. This property alleviates the issue of early mode collapse by preventing $D_1$ and $D_2$ from converging too fast. We provide theoretical analysis for the equilibrium of the min-max game formed among $G, D_1, D_2$. We offer convergence behavior of PeerGAN as well as stability of the min-max game. It's worth mentioning that PeerGAN operates in the unsupervised setting, and the additional game between $D_1$ and $D_2$ does not need any label supervision. Experiments results on a synthetic dataset and on real-world image datasets (MNIST, Fashion MNIST, CIFAR-10, STL-10, CelebA, VGG) demonstrate that PeerGAN outperforms competitive baseline work in generating diverse and high-quality samples, while only introduces negligible computation cost.

研究动机与目标

• 解决 GAN 中长期存在的模式崩溃问题，即生成器无法捕捉数据分布的全部多样性。
• 在不依赖标签或复杂架构修改的情况下，提升 GAN 的训练稳定性和样本质量。
• 提出一种双判别器机制，其中 $D_1$ 和 $D_2$ 不仅区分真实样本与生成样本，还相互竞争，以增强多样性。
• 确保判别器之间的附加博弈以无监督方式运行，避免对监督信号或额外训练信号的需求。
• 在与标准 GAN 相比计算成本可忽略增加的前提下，实现高质量且多样化的样本生成。

提出的方法

• 通过引入第二个判别器 $D_2$ 扩展标准 GAN 框架，$D_2$ 与 $D_1$ 共享区分真实数据与生成样本的相同目标。
• 引入 $D_1$ 与 $D_2$ 之间的竞争博弈，以抑制其在生成样本上达成共识，从而促进生成器输出的多样性。
• 将整体训练表述为涉及 $G$、$D_1$ 和 $D_2$ 的极小-极大博弈，其中 $D_1$ 与 $D_2$ 共同优化以提升检测能力，同时相互竞争以避免达成一致。
• 通过一个惩罚生成样本上高共识度的损失项，实现 $D_1$ 与 $D_2$ 之间的同伴竞争，从而鼓励其检测模式互补。
• 该方法完全在无监督设置下运行，$D_1$ 与 $D_2$ 之间的竞争无需额外标签或数据模态。
• 理论分析建立了三元极小-极大博弈的均衡条件与收敛行为，支持训练过程的稳定性。

实验结果

研究问题

• RQ1 引入一个竞争性的同伴判别器 $D_2$ 是否能在不依赖标签的情况下，提升 GAN 生成样本的多样性和稳定性？
• RQ2 在训练过程中，$D_1$ 与 $D_2$ 之间的竞争博弈如何影响生成器避免模式崩溃的能力？
• RQ3 涉及 $G$、$D_1$ 和 $D_2$ 的三元极小-极大博弈的理论均衡行为是什么？
• RQ4 所提出的 PeerGAN 框架在引入极低计算开销的同时，是否保持或提升了样本质量？
• RQ5 在多个基准数据集上，PeerGAN 与现有双判别器 GAN 相比，在样本多样性和保真度方面表现如何？

主要发现

• PeerGAN 通过阻止 $D_1$ 与 $D_2$ 收敛到相同的决策边界，有效缓解了模式崩溃，从而促进了多样化样本的生成。
• 在 CIFAR-10 和 CelebA 上，模型实现了最先进水平的 inception 分数与 fiducial inception 分数，优于包括标准 GAN 和其他双判别器变体在内的竞争性基线。
• 在 MNIST、Fashion-MNIST 和 STL-10 上的实验验证了 PeerGAN 在样本质量和多样性方面的优越性，fiducial 分数与 inception 分数均持续提升。
• 同伴竞争机制在无任何标签监督的情况下运行，保持了训练过程的无监督特性。
• PeerGAN 的额外计算开销可忽略不计，因为同伴判别器仅引入了极少的推理与训练开销。
• 理论分析证实了三元极小-极大博弈中存在稳定均衡，支持了训练中观察到的实证稳定性。