[论文解读] Pioneer Networks: Progressively Growing Generative Autoencoder

Ari Heljakka, Arno Solin+1 more|arXiv (Cornell University)|Jul 9, 2018

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

该论文提出 PIONEER，一种渐进式生成自编码器，在无需独立 GAN 判别器的情况下，实现了 128×128 分辨率下的最先进图像重建与合成性能。通过在统一的编码器-生成器框架中结合渐进式生长、对抗性损失与重建损失，该模型实现了高保真图像重建、平滑的潜在空间插值，并仅通过一个稳定训练目标（配合谱归一化）实现了高质量生成。

ABSTRACT

We introduce a novel generative autoencoder network model that learns to encode and reconstruct images with high quality and resolution, and supports smooth random sampling from the latent space of the encoder. Generative adversarial networks (GANs) are known for their ability to simulate random high-quality images, but they cannot reconstruct existing images. Previous works have attempted to extend GANs to support such inference but, so far, have not delivered satisfactory high-quality results. Instead, we propose the Progressively Growing Generative Autoencoder (PIONEER) network which achieves high-quality reconstruction with $128{ imes}128$ images without requiring a GAN discriminator. We merge recent techniques for progressively building up the parts of the network with the recently introduced adversarial encoder-generator network. The ability to reconstruct input images is crucial in many real-world applications, and allows for precise intelligent manipulation of existing images. We show promising results in image synthesis and inference, with state-of-the-art results in CelebA inference tasks.

研究动机与目标

• 解决 GAN 模型缺乏推理能力的问题，即尽管其生成质量高，却无法重建已有图像。
• 克服变分自编码器（VAEs）及其与 GAN 的混合模型的局限性，后者在感知质量上无法达到如 ProgGAN 等最先进 GAN 模型的水平。
• 开发一种统一的生成自编码器，支持高保真图像重建与从平滑潜在空间中高质量采样。
• 实现编码器与生成器网络的渐进式训练，以稳定学习过程并提升高分辨率下的性能表现。
• 证明在统一自编码器框架中使用对抗性训练时，无需独立判别器即可实现高质量图像生成与重建。

提出的方法

• 为编码器与生成器网络提出一种渐进式生长训练策略，从低分辨率特征开始，逐步增加网络层。
• 联合训练编码器与生成器，采用组合损失：图像空间中的重建损失（L2）与利用生成器输出作为真实数据的潜在空间对抗性损失。
• 应用谱归一化以稳定训练过程并避免模式崩溃，从而替代对独立判别器网络的需求。
• 为推理（编码真实图像）与生成（从潜在空间采样）使用单一潜在空间，实现平滑插值。
• 在 CelebA 与 CelebA-HQ 等数据集上以完全无监督方式训练模型，不使用类别标签。
• 通过固定架构与最小化超参数调优优化训练过程，仅调整各分辨率阶段的训练周期数。

实验结果

研究问题

• RQ1 生成自编码器是否能在不使用独立 GAN 判别器的情况下，于 128×128 分辨率下实现高质量图像重建与合成？
• RQ2 与标准自编码器相比，对编码器与生成器同时进行渐进式生长是否能提升训练稳定性与重建质量？
• RQ3 该模型是否能支持未见图像对在潜在空间中的平滑插值，表明其具有解耦且连续的表征？
• RQ4 在高分辨率下，该模型在 FID 与重建质量方面与最先进 GAN 及自编码器模型相比表现如何？
• RQ5 在统一自编码器设置中，谱归一化是否足以稳定训练并替代判别器的需求？

主要发现

• PIONEER 模型在 128×128 分辨率下于 CelebA 数据集上实现了最先进水平的图像重建质量，优于以往基于自编码器的方法。
• 该模型生成了具有锐利细节的高保真图像重建结果，定性对比显示其与输入图像及训练集中最近邻样本高度一致。
• 在 128×128 分辨率下，该模型在 LSUN 卧室数据集上实现了 37.50 的 Fréchet Inception Distance（FID），表明其在完全无监督训练下仍具备强大的生成质量。
• 该模型能够实现未见测试图像之间潜在向量的平滑插值，证明其潜在空间具有连续性与解耦性，且无需显式监督。
• 该模型在 256×256 分辨率下可生成高质量且多样化的样本，表明其可扩展至更高分辨率，尽管本研究中尚未完全完成该分辨率的训练。
• 该模型在架构更简单的情况下实现了与最先进纯生成模型相当的性能，仅使用单一统一损失与谱归一化，无需独立判别器。