[论文解读] Non-Parametric Priors For Generative Adversarial Networks

Rajhans Singh, Pavan Turaga+3 more|arXiv (Cornell University)|May 16, 2019

Generative Adversarial Networks and Image Synthesis被引用 7

一句话总结

本文提出了一种生成对抗网络（GANs）的非参数先验，以解决潜在空间插值过程中的分布不匹配问题。通过使用概率理论建模并利用现成的优化求解器进行优化，该方法学习到一种具有多叶结构和快速衰减尾部的自定义先验，显著提升了插值保真度——在CelebA、CIFAR-10和LSUN数据集上实现了SOTA级别的FID分数，且无需修改网络架构或训练过程。

ABSTRACT

The advent of generative adversarial networks (GAN) has enabled new capabilities in synthesis, interpolation, and data augmentation heretofore considered very challenging. However, one of the common assumptions in most GAN architectures is the assumption of simple parametric latent-space distributions. While easy to implement, a simple latent-space distribution can be problematic for uses such as interpolation. This is due to distributional mismatches when samples are interpolated in the latent space. We present a straightforward formalization of this problem; using basic results from probability theory and off-the-shelf-optimization tools, we develop ways to arrive at appropriate non-parametric priors. The obtained prior exhibits unusual qualitative properties in terms of its shape, and quantitative benefits in terms of lower divergence with its mid-point distribution. We demonstrate that our designed prior helps improve image generation along any Euclidean straight line during interpolation, both qualitatively and quantitatively, without any additional training or architectural modifications. The proposed formulation is quite flexible, paving the way to impose newer constraints on the latent-space statistics.

研究动机与目标

• 解决GAN潜在空间插值中的分布不匹配问题，其中标准参数化先验（如正态分布、均匀分布）无法匹配插值点的分布。
• 克服现有参数化先验（如柯西分布）的局限性，后者虽减少了中点发散，但因重尾导致生成不稳定。
• 提出一种通用且灵活的框架，用于学习任务特定的先验，无需修改网络架构或引入额外训练数据。
• 通过优化的非参数潜在分布，提升先验点和中点生成质量，尤其在插值方面。

提出的方法

• 使用基础概率理论形式化分布不匹配问题，将中点分布建模为先验与插值路径上线性均匀分布的卷积。
• 定义一个优化目标，以最小化先验与中点分布之间的差异，利用现成的优化工具求解非参数先验。
• 将先验表示为潜在空间点上的离散非参数分布，通过约束优化学习，使其在插值条件下匹配中点分布。
• 使用标准GAN训练流程，结合学习到的非参数先验，保持相同的生成器和判别器架构及损失函数。
• 利用现有优化库高效求解非凸、高维的优化问题。
• 通过标准指标（Inception Score, IS 和 Fréchet Inception Distance, FID）在多个数据集（CelebA、CIFAR-10、LSUN）上验证方法性能。

实验结果

研究问题

• RQ1 能否学习到一种非参数先验，以最小化GAN中原始先验与插值中点分布之间的分布不匹配？
• RQ2 与标准参数化先验（如正态分布或均匀分布）相比，学习到的非参数先验是否能在插值过程中提升图像质量和多样性？
• RQ3 在不同数据集上，非参数先验在FID和Inception Score上的表现与柯西分布或伽马分布等专用先验相比如何？
• RQ4 所提出的方法是否能在不修改生成器架构或不需额外训练数据的情况下提升插值保真度？
• RQ5 所学习到的非参数先验表现出哪些定性和定量特性？这些特性如何与生成性能的提升相关？

主要发现

• 非参数先验在所有评估数据集上均取得最佳或接近最佳的FID分数：CelebA（19.115）、CIFAR-10（37.112）、LSUN Bedroom（31.472）和LSUN Kitchen（35.074），优于均匀分布、正态分布、伽马分布和柯西分布先验。
• 在CelebA数据集上（d=200），非参数先验在中点处取得19.115的FID分数，显著低于均匀先验的40.371和柯西先验的60.128。
• 在CIFAR-10数据集上（d=100），非参数先验将中点FID降低至37.112，优于正态先验（65.525）和柯西先验（180.40），较次优先验提升2.8分。
• 非参数先验在先验点和中点生成质量上均持续提升，CIFAR-10上Inception Score达6.871，CelebA上达1.973，表明图像质量与多样性更优。
• 所学习到的非参数先验展现出独特的多叶结构与快速衰减尾部，有助于先验与中点分布更紧密匹配，从而减少分布不匹配。
• 该方法在不同复杂度的数据集上均表现稳健：在LSUN（变化更大、训练集更大）上表现最佳，且始终优于参数化先验，包括在模式崩溃和不稳定性方面表现不佳的柯西先验。