[论文解读] Variational Autoencoder for Deep Learning of Images, Labels and Captions

Yunchen Pu, Zhe Gan+5 more|arXiv (Cornell University)|Sep 28, 2016

Generative Adversarial Networks and Image Synthesis参考文献 35被引用 372

一句话总结

论文提出一个变分自编码器框架，联合建模图像、它们的标签和字幕，实现跨多模态的深度学习。

ABSTRACT

A novel variational autoencoder is developed to model images, as well as associated labels or captions. The Deep Generative Deconvolutional Network (DGDN) is used as a decoder of the latent image features, and a deep Convolutional Neural Network (CNN) is used as an image encoder; the CNN is used to approximate a distribution for the latent DGDN features/code. The latent code is also linked to generative models for labels (Bayesian support vector machine) or captions (recurrent neural network). When predicting a label/caption for a new image at test, averaging is performed across the distribution of latent codes; this is computationally efficient as a consequence of the learned CNN-based encoder. Since the framework is capable of modeling the image in the presence/absence of associated labels/captions, a new semi-supervised setting is manifested for CNN learning with images; the framework even allows unsupervised CNN learning, based on images alone.

研究动机与目标

• 在一个统一概率框架中统一建模图像、标签和字幕的必要性。
• 开发一个能够处理多模态输出（图像和文本）的变分自编码器架构。
• 实现视觉和文本表示的联合学习，以提升生成和判别能力。
• 提供一个学习目标和优化方法，将图像和字幕数据整合到 VAE 中。
• 展示多模态 VAE 在联合视觉-语言任务中的可行性和潜在收益。

提出的方法

• 引入一个用于联合建模图像和字幕（以及可选标签）的变分自编码器设置。
• 定义在图像空间与潜在表示之间，以及在潜在表示与字幕序列之间映射的编码器和解码器网络。
• 利用变分下界（ELBO）作为训练目标，联合优化图像重建和字幕生成。
• 加入跨模态对齐潜在表示的机制，以实现连贯的多模态生成。
• 讨论能够实现图像-标签-字幕三元组端到端学习的训练细节和架构选择。

实验结果

研究问题

• RQ1 单一的变分框架是否能够有效地联合建模图像、标签和字幕？
• RQ2 与特定模态的 VAE 相比，联合多模态训练如何影响生成的图像和字幕的质量？
• RQ3 将标签纳入 VAE 对推断和字幕生成有何影响？
• RQ4 哪些架构或目标调整有利于对齐多模态潜在空间？

主要发现

• 所提出的多模态 VAE 框架证明了联合学习图像、标签和字幕的可行性。
• 实验验证表明可以从共享潜在空间生成连贯的图像和字幕。
• 该方法提供一个统一的概率模型，能够捕捉视觉内容与文本描述之间的关系。
• 该工作讨论了有助于在 VAE 中实现多模态整合的架构选择和训练策略。