[论文解读] Multi-Stage Variational Auto-Encoders for Coarse-to-Fine Image Generation

Lei Cai, Hongyang Gao+1 more|arXiv (Cornell University)|May 19, 2017

Advanced Vision and Imaging被引用 10

一句话总结

本文提出一种多阶段变分自编码器（VAE），通过先训练 VAE 生成粗略重建结果，再使用独立的优化网络进行细化，从而生成更清晰的图像。通过将优化阶段与主 VAE 解耦，该方法可应用非-$\ell_2$损失函数（例如对抗性损失），显著减少模糊性，在 MNIST 和 CelebA 数据集上的图像质量明显优于标准 VAE。

ABSTRACT

Variational auto-encoder (VAE) is a powerful unsupervised learning framework for image generation. One drawback of VAE is that it generates blurry images due to its Gaussianity assumption and thus L2 loss. To allow the generation of high quality images by VAE, we increase the capacity of decoder network by employing residual blocks and skip connections, which also enable efficient optimization. To overcome the limitation of L2 loss, we propose to generate images in a multi-stage manner from coarse to fine. In the simplest case, the proposed multi-stage VAE divides the decoder into two components in which the second component generates refined images based on the course images generated by the first component. Since the second component is independent of the VAE model, it can employ other loss functions beyond the L2 loss and different model architectures. The proposed framework can be easily generalized to contain more than two components. Experiment results on the MNIST and CelebA datasets demonstrate that the proposed multi-stage VAE can generate sharper images as compared to those from the original VAE.

研究动机与目标

• 解决标准 VAE 因 $\ell_2$ 重建损失而持续产生模糊图像的问题。
• 通过使用深度残差块和跳跃连接增加解码器容量，提升图像质量。
• 通过解耦粗略与精细图像生成阶段，实现高保真度图像生成。
• 在优化阶段允许使用非-$\ell_2$损失函数，以减轻模糊性。
• 开发一种可扩展的框架，支持超过两个阶段的渐进式图像优化。

提出的方法

• 解码器被划分为两个阶段：第一阶段使用 $\ell_2$ 损失生成粗略图像，第二阶段通过独立网络进行优化。
• 第一阶段的输出被视作超分辨率风格优化网络的输入，该网络与主 VAE 独立。
• 两个阶段均使用残差块和跳跃连接，以提升训练稳定性和模型容量。
• 优化网络可采用替代损失函数（如对抗性损失），以减少模糊性，而标准 $\ell_2$-基 VAE 无法实现这一点。
• 框架采用端到端训练，但概念上将优化阶段与主 VAE 解耦，从而支持灵活的损失设计。
• 该方法可推广至超过两个阶段，支持多尺度、粗到细的图像生成。

实验结果

研究问题

• RQ1 通过解耦粗略与精细图像生成，多阶段 VAE 架构能否提升图像清晰度？
• RQ2 在最终优化阶段用替代损失函数替代 $\ell_2$ 损失，能否减少 VAE 生成图像的模糊性？
• RQ3 在解码器中使用残差网络能否提升 VAE 的训练稳定性和图像质量？
• RQ4 在基准数据集上，该方法与标准 VAE 和深度残差 VAE 相比，图像质量如何？
• RQ5 该框架能否扩展至超过两个阶段，以实现渐进式图像优化？

主要发现

• 与标准 VAE 相比，多阶段 VAE 在 MNIST 和 CelebA 数据集上生成的图像显著更清晰。
• 深度残差 VAE 虽然相比标准 VAE 减少了模糊性，但仍因 $\ell_2$ 损失而产生模糊结果。
• 所提方法通过允许优化阶段使用非-$\ell_2$ 损失，有效克服了 $\ell_2$ 损失的局限性。
• 多阶段 VAE 的中间特征图清晰显示出从模糊到清晰输出的过渡，证实了粗到细的生成过程。
• 视觉对比显示，多阶段 VAE 生成的图像分辨率更高，纹理和面部特征更丰富，优于基线模型。
• 该框架具有可扩展性，可推广至超过两个阶段，实现渐进式图像生成。