[论文解读] Training Generative Reversible Networks

Robin Tibor Schirrmeister, Patryk Chrabąszcz+2 more|arXiv (Cornell University)|Jun 5, 2018

Generative Adversarial Networks and Image Synthesis参考文献 29被引用 8

一句话总结

本文提出在对抗自编码器框架中使用可逆神经网络（RevNets），通过其内置的可逆性实现端到端训练，无需独立的编码器-解码器网络。该方法在CelebA数据集上生成的面部图像质量与变分自编码器（VAEs）相当，且在MNIST上的概念验证表明，RevNets可在不预设潜在维度的情况下学习有意义且解耦的潜在维度。

ABSTRACT

Generative models with an encoding component such as autoencoders currently receive great interest. However, training of autoencoders is typically complicated by the need to train a separate encoder and decoder model that have to be enforced to be reciprocal to each other. To overcome this problem, by-design reversible neural networks (RevNets) had been previously used as generative models either directly optimizing the likelihood of the data under the model or using an adversarial approach on the generated data. Here, we instead investigate their performance using an adversary on the latent space in the adversarial autoencoder framework. We investigate the generative performance of RevNets on the CelebA dataset, showing that generative RevNets can generate coherent faces with similar quality as Variational Autoencoders. This first attempt to use RevNets inside the adversarial autoencoder framework slightly underperformed relative to recent advanced generative models using an autoencoder component on CelebA, but this gap may diminish with further optimization of the training setup of generative RevNets. In addition to the experiments on CelebA, we show a proof-of-principle experiment on the MNIST dataset suggesting that adversary-free trained RevNets can discover meaningful latent dimensions without pre-specifying the number of dimensions of the latent sampling distribution. In summary, this study shows that RevNets can be employed in different generative training settings. Source code for this study is at https://github.com/robintibor/generative-reversible

研究动机与目标

• 探索在对抗自编码器（AAE）框架中使用生成式可逆网络（RevNets）的可行性，该框架通过判别器强制实现潜在空间分布匹配。
• 评估RevNets在CelebA数据集上是否能生成与最先进自编码器生成模型相当的高质量、连贯的图像。
• 研究RevNets的可逆性是否能实现无判别器训练，从而在不预定义潜在维度数量的情况下发现有意义且解耦的潜在维度，如在MNIST上的实验所示。
• 将RevNets在AAE设置下的性能与现有基于似然和输入对抗训练的方法进行比较，这些方法用于可逆生成模型。
• 评估RevNets固有的双射性是否能支持稳定、高质量的生成，同时保持输入与潜在表示之间的直接对应关系。

提出的方法

• 采用可逆神经网络（RevNets）作为自编码器架构，其中每一层由可逆块构成，将输入分为两部分，并应用可学习函数F和G以确保可逆性。
• 采用对抗自编码器（AAE）框架，其中判别器被训练以区分真实潜在码分布与生成器编码的潜在码，从而促使潜在空间匹配先验分布。
• 通过RevNets的可逆性隐式应用变量变换公式，实现精确的似然计算，并在无需独立编码器和解码器网络的情况下实现稳定训练。
• 在MNIST实验中采用分层潜在空间设计，使模型能够在不预设潜在维度数量的情况下学习解耦表示。
• 在CelebA实验中采用渐进式训练策略，逐步提高生成图像的分辨率和复杂度，以提升训练稳定性和样本质量。
• 使用Fréchet Inception Distance（FID）作为主要评估指标，用于与基线模型（包括VAEs和其他基于自编码器的模型）比较生成质量。

实验结果

研究问题

• RQ1 可逆神经网络能否有效集成到对抗自编码器框架中，以生成高质量、连贯的图像？
• RQ2 在CelebA数据集上，RevNets在AAE框架中的生成性能与最先进自编码器生成模型相比如何，特别是在FID和视觉质量方面？
• RQ3 在无判别器设置下，RevNets能否在不预设潜在维度数量的情况下发现有意义且解耦的潜在表示，如在MNIST上的实验所示？
• RQ4 在潜在空间中使用双射映射进行生成建模的优势与局限性是什么，特别是在分布匹配和样本多样性方面？
• RQ5 RevNets在AAE框架中的性能与先前工作中用于可逆生成模型的基于似然和输入对抗训练方法相比如何？

主要发现

• 在对抗自编码器框架中训练的生成式RevNets在CelebA数据集上生成了连贯且高质量的面部图像，其Fréchet Inception Distance（FID）得分与变分自编码器（VAEs）相当。
• RevNet-based AAE与最先进生成自编码器之间存在的性能差距，归因于超参数和架构选择，而非RevNets本身的固有局限，表明通过自动化超参数搜索仍有改进空间。
• 在MNIST数据集上，采用无判别器训练设置的RevNets成功学习了解耦的潜在维度（如倾斜度、粗细和大小），而无需预设潜在维度数量，表明实现了有意义的表示学习。
• 所学习的潜在维度在不同数字类别间表现出一致的语义解释，共享维度编码了与类别无关的特征（如粗细和倾斜度），尽管模型未被显式约束如此。
• 尽管在学习解耦特征方面取得成功，MNIST生成的样本仍略显模糊且多样性不足，表明在训练稳定性和优化方面仍有改进空间。
• 本研究证明，RevNets可成功适配到AAE框架中，提供一种稳定且可逆的自编码器替代方案，同时保持具有竞争力的生成性能，并支持诸如无维度预设的潜在学习等新型训练范式。