[论文解读] PixelGAN Autoencoders

Alireza Makhzani, Brendan J. Frey|arXiv (Cornell University)|Jun 2, 2017

Generative Adversarial Networks and Image Synthesis被引用 25

一句话总结

本文提出PixelGAN自编码器，一种结合了以潜在码为条件的PixelCNN解码器与基于GAN的推理网络的生成模型，该网络可对潜在空间施加任意先验分布。通过使用不同的先验分布（如高斯分布或类别分布），该方法实现了特征解耦：高斯先验可实现全局特征与局部特征的解耦，而类别先验则实现内容与风格的解耦，在MNIST、SVHN和NORB数据集上实现了最先进的弱监督分类性能，且仅需极少的监督信号。

ABSTRACT

In this paper, we describe the "PixelGAN autoencoder", a generative autoencoder in which the generative path is a convolutional autoregressive neural network on pixels (PixelCNN) that is conditioned on a latent code, and the recognition path uses a generative adversarial network (GAN) to impose a prior distribution on the latent code. We show that different priors result in different decompositions of information between the latent code and the autoregressive decoder. For example, by imposing a Gaussian distribution as the prior, we can achieve a global vs. local decomposition, or by imposing a categorical distribution as the prior, we can disentangle the style and content information of images in an unsupervised fashion. We further show how the PixelGAN autoencoder with a categorical prior can be directly used in semi-supervised settings and achieve competitive semi-supervised classification results on the MNIST, SVHN and NORB datasets.

研究动机与目标

• 开发一种生成自编码器，结合自回归模型的表达能力与基于GAN的推理的灵活性。
• 通过在潜在码上施加任意先验分布，实现解耦表征学习。
• 通过使潜在码仅捕捉相关因素（如类别标签），而自回归解码器建模残差结构，提升弱监督学习性能。
• 通过类别先验实现图像中风格与内容的无监督解耦。

提出的方法

• 模型使用PixelCNN作为生成路径，以潜在码z为条件，重建输入图像x。
• 识别路径采用确定性神经网络f(x, n)，将输入x与噪声n映射至潜在码z，形成隐式后验q(z|x)。
• 训练一个对抗性判别器，以区分聚合后验q(z)与指定先验分布p(z)，强制潜在码匹配先验分布。
• 通过反向传播端到端训练模型，其中生成器最小化重建损失，判别器最小化GAN损失。
• 通过施加不同的先验分布（如高斯分布或类别分布），控制潜在码与自回归解码器之间的信息分解方式。
• 在弱监督学习中，使用类别先验使潜在码与类别标签对齐，而PixelCNN则捕捉风格与细节特征。

实验结果

研究问题

• RQ1 在潜在码上施加高斯先验是否能实现图像统计特征的全局与局部解耦？
• RQ2 类别先验是否能实现图像表征中内容与风格的无监督解耦？
• RQ3 PixelGAN自编码器是否能在不依赖潜在空间重建损失的情况下，实现具有竞争力的弱监督分类性能？
• RQ4 该模型架构如何使潜在码聚焦于特定变化因素，而自回归解码器捕捉残差结构？
• RQ5 该模型能否扩展以学习不同数据分布之间的跨域映射？

主要发现

• 使用高斯先验可实现图像统计的全局与局部分解，其中潜在码捕捉全局结构，PixelCNN建模精细细节。
• 使用类别先验时，模型可无监督地学习将内容（如数字身份）与风格（如书写风格）解耦。
• PixelGAN自编码器在MNIST、SVHN和NORB数据集上实现了最先进的弱监督分类准确率，优于标准自编码器与对抗性自编码器。
• 与标准VAE或AAE相比，该模型实现了更优的解耦性能，因为重建负担由潜在码与自回归解码器共同承担。
• 该架构可通过仅让潜在码建模所需因素（如类别标签），而PixelCNN捕捉缺失结构，实现有效的跨域映射。
• 该方法避免了在潜在空间中进行完整重建，使编码器能够专注于相关因素（如类别标签），而无需强制保留风格信息。