[论文解读] Unsupervised multi-modal Styled Content Generation

Omry Sendik, Dani Lischinski+1 more|arXiv (Cornell University)|Jan 10, 2020

Natural Language Processing Techniques参考文献 27被引用 4

一句话总结

本文提出 uMM-GAN，一种新颖的无监督生成模型，通过引入 K 个学习得到的根常数，在无监督条件下学习多模态数据分布中的多个潜在模式，从而实现对模式（例如动物种类）和风格（例如毛发颜色）的解耦控制。该方法在基线 GAN 的基础上提升了分布近似能力与 FID 分数，尤其当 K 与真实模式数匹配或超过时效果更显著。

ABSTRACT

The emergence of deep generative models has recently enabled the automatic generation of massive amounts of graphical content, both in 2D and in 3D. Generative Adversarial Networks (GANs) and style control mechanisms, such as Adaptive Instance Normalization (AdaIN), have proved particularly effective in this context, culminating in the state-of-the-art StyleGAN architecture. While such models are able to learn diverse distributions, provided a sufficiently large training set, they are not well-suited for scenarios where the distribution of the training data exhibits a multi-modal behavior. In such cases, reshaping a uniform or normal distribution over the latent space into a complex multi-modal distribution in the data domain is challenging, and the generator might fail to sample the target distribution well. Furthermore, existing unsupervised generative models are not able to control the mode of the generated samples independently of the other visual attributes, despite the fact that they are typically disentangled in the training data. In this paper, we introduce UMMGAN, a novel architecture designed to better model multi-modal distributions, in an unsupervised fashion. Building upon the StyleGAN architecture, our network learns multiple modes, in a completely unsupervised manner, and combines them using a set of learned weights. We demonstrate that this approach is capable of effectively approximating a complex distribution as a superposition of multiple simple ones. We further show that UMMGAN effectively disentangles between modes and style, thereby providing an independent degree of control over the generated content.

研究动机与目标

• 解决现有 GAN 在无监督条件下建模多模态数据分布的局限性。
• 实现对生成样本模式（例如猫与狗）与风格属性的独立控制。
• 通过将复杂数据分布近似为 K 个更简单的、学习得到的模式的叠加，提升生成样本的保真度与多样性。
• 证明通过多个根常数实现无监督模式发现，相比单根 GAN 能够获得更优的分布近似效果。

提出的方法

• 该模型通过将 StyleGAN 中的单个学习常数替换为 K 个不同的根常数，每个根常数作为数据分布中不同模式的种子。
• 每个生成样本由 K 个模式特性的加权混合构成，权重在训练过程中学习得到。
• 生成器使用 AdaIN 实现风格控制，而模式选择通过 K 个根常数解耦，从而实现对模式与风格的独立操作。
• 网络架构通过对抗性损失端到端训练，无需类别标签或任何标注信息。
• 模式数量 K 为超参数，模型会根据数据分布自动将样本分配至最相关的模式。
• 通过鼓励每个根常数捕捉不同的高层内容特征（例如物种、物体姿态），该方法隐式学习到模式的解耦。

实验结果

研究问题

• RQ1 无监督 GAN 架构能否在无类别标注的情况下有效建模多模态数据分布？
• RQ2 通过 K 个根常数学习多个潜在模式，是否能相比单根 GAN 提升分布近似效果？
• RQ3 在生成模型中，模式与风格能否被有效解耦，从而实现对高层内容与视觉外观的独立控制？
• RQ4 学习到的模式数量 K 如何影响生成样本的质量，以 FID 分数衡量？
• RQ5 该模型是否能在具有复杂真实世界多模态分布的自然图像数据集上实现泛化？

主要发现

• 在多模态数据集上，uMM-GAN 的 FID 分数显著低于基线 StyleGAN，当在三分类数据集中将 K 从 2 增加到 3 时，FID 分数最高降低 1.47 分。
• 在 Cats & Dogs 数据集上，FID 分数从 K=1 时的 126.90 降低至 K=16 时的 103.49，表明随着 K 增大，性能持续提升。
• 在 Cars 和 Bedrooms 数据集上，FID 分数分别从 K=1 时的 167.22 降低至 K=16 时的 145.54，以及从 189.53 降低至 157.01，表明在复杂自然图像上也具有有效性。
• 通过样本显示，当模式切换而风格参数保持不变时，视觉属性（如毛发颜色与图案）得以保留，证明模型成功实现了模式与风格的解耦。
• 当 K ≥ N（真实模式数）时模型表现最佳，当 K ≫ N 时收益递减，表明模式容量存在权衡。
• 该方法在各类数据集上泛化良好，包括合成数据（字母）和真实世界数据（动物、汽车、室内场景），表明对数据复杂性的鲁棒性。