[论文解读] Optimizing the Latent Space of Generative Networks

Piotr Bojanowski, Armand Joulin+2 more|arXiv (Cornell University)|Jul 18, 2017

Generative Adversarial Networks and Image Synthesis参考文献 55被引用 202

一句话总结

GLO通过学习每个图像的潜在编码并使用重构损失来训练一个深度卷积生成器，避免对抗性训练，同时再现类似GAN的潜在空间特性，如有意义的插值和线性运算。

ABSTRACT

Generative Adversarial Networks (GANs) have achieved remarkable results in the task of generating realistic natural images. In most successful applications, GAN models share two common aspects: solving a challenging saddle point optimization problem, interpreted as an adversarial game between a generator and a discriminator functions; and parameterizing the generator and the discriminator as deep convolutional neural networks. The goal of this paper is to disentangle the contribution of these two factors to the success of GANs. In particular, we introduce Generative Latent Optimization (GLO), a framework to train deep convolutional generators using simple reconstruction losses. Throughout a variety of experiments, we show that GLO enjoys many of the desirable properties of GANs: synthesizing visually-appealing samples, interpolating meaningfully between samples, and performing linear arithmetic with noise vectors; all of this without the adversarial optimization scheme.

研究动机与目标

• 研究GAN成功是否来自卷积网络的归纳偏置还是对抗训练（A1 vs A2）
• 提出一个非对抗性框架（GLO），通过重构损失学习生成器及每个图像的潜在编码。
• 在各种数据集上评估GLO，以评估样本质量、潜在空间插值和线性运算。
• 在重建和生成能力方面将GLO与PCA、VAE和GAN基线进行比较。

提出的方法

• 通过联合优化 θ 和每个训练图像的潜在代码 z_i，学习一个将潜在向量 z_i 映射到图像 x_i 的生成器 g_θ。
• 使用重构损失 ℓ( g_θ(z_i), x_i )，并用 SGD 在 θ 和 z_i 上进行最小化。
• 更新后将每个 z_i 投影到单位 ℓ2-球面上，以保持潜在向量在球面上。
• 将 Z 视为单位球面，或基于简单高斯先验来进行生成。
• 尝试不同的损失选项，包括拉普拉斯金字塔 L1 损失和 L2 损失（加权组合以保留颜色/低频内容）。
• 采用与 DCGAN 一致的生成器架构，以便与GAN文献进行比较。

实验结果

研究问题

• RQ1 在保留卷积网络先验的同时去除对抗训练协议，是否能产生具有竞争力的生成模型？
• RQ2 可学习的具有重构损失的潜在空间是否能支持类似GANs的有意义插值和线性运算？
• RQ3 GLO 在重建质量、样本质量和潜在空间组织方面在多样化图像数据集上的表现如何？

主要发现

• GLO 可以合成视觉上令人满意的样本，且具有类似GANs的有意义插值。
• GLO 的潜在空间代数产生连贯的变换（例如合并性别、配饰等属性）。
• GLO 的潜在向量可以插值并按主方向组织，这些方向与可解释的图像特征（如背景、方向、性别）对齐。
• 在 CelebA、MNIST 和 SVHN 等数据集上，GLO 在重建与生成方面相对于 PCA、VAE 和 GAN 基线具有竞争力。
• GLO 在 LSUN-bedroom 上的表现弱于 GAN，表明对于更广泛、高变异数据集的容量有限。
• 基于重构的训练可以在不使用对抗优化的情况下实现类似GAN的属性，尽管对于较大数据集来说对整个数据分布的覆盖可能具有挑战性。