[论文解读] Variational Hetero-Encoder Randomized Generative Adversarial Networks for Joint Image-Text Modeling

Hao Zhang, Bo Chen+3 more|arXiv (Cornell University)|May 18, 2019

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

该论文提出VHE-GAN，一种变分异构自编码器随机生成对抗网络，通过端到端训练联合建模图像与文本，整合了概率图像编码器、文本解码器以及带有学习随机性的生成对抗网络。通过粗到细、多尺度的方式建模层次化语义与视觉特征，该方法在多模态生成任务中实现了最先进性能。

ABSTRACT

For bidirectional joint image-text modeling, we develop variational hetero-encoder (VHE) randomized generative adversarial network (GAN), a versatile deep generative model that integrates a probabilistic text decoder, probabilistic image encoder, and GAN into a coherent end-to-end multi-modality learning framework. VHE randomized GAN (VHE-GAN) encodes an image to decode its associated text, and feeds the variational posterior as the source of randomness into the GAN image generator. We plug three off-the-shelf modules, including a deep topic model, a ladder-structured image encoder, and StackGAN++, into VHE-GAN, which already achieves competitive performance. This further motivates the development of VHE-raster-scan-GAN that generates photo-realistic images in not only a multi-scale low-to-high-resolution manner, but also a hierarchical-semantic coarse-to-fine fashion. By capturing and relating hierarchical semantic and visual concepts with end-to-end training, VHE-raster-scan-GAN achieves state-of-the-art performance in a wide variety of image-text multi-modality learning and generation tasks.

研究动机与目标

• 为解决双向联合图像-文本建模的挑战，通过统一概率编码与生成对抗学习。
• 通过将变分后验分布作为生成对抗网络生成器的随机性来源，提升图像-文本生成质量。
• 开发一种可扩展的端到端框架，集成现成模块如StackGAN++与深度主题模型。
• 实现与语义与视觉概念进展一致的层次化、粗到细图像生成。
• 在多样化的图像-文本多模态学习与生成任务中实现最先进性能。

提出的方法

• VHE-GAN整合了概率图像编码器，将图像映射为潜在表征，以及概率文本解码器，用于重建关联文本。
• 将图像编码得到的变分后验作为随机输入送入生成对抗网络生成器，引入可控随机性以实现多样化图像生成。
• 框架结合了用于层次化特征学习的阶梯式图像编码器与用于解耦文本表征的深度主题模型。
• 引入StackGAN++作为多尺度图像生成器，以渐进式、粗到细的方式生成高保真图像。
• 整个模型通过对抗损失、重建损失与KL散度正则化实现端到端训练。
• 提出基于栅格扫描的训练策略，以在图像生成过程中增强层次化特征对齐。

实验结果

研究问题

• RQ1 统一的深度生成模型能否通过概率编码与基于GAN的生成，有效捕捉图像与文本之间的双向依赖？
• RQ2 将变分后验作为随机性来源，如何提升多模态生成中图像的多样性与质量？
• RQ3 现成组件如StackGAN++与深度主题模型在联合图像-文本框架中能多大程度上被有效集成？
• RQ4 具有语义与视觉概念对齐的层次化、粗到细图像生成，能否提升生成质量与对齐度量？
• RQ5 所提出的VHE-栅格扫描-GAN是否在多个图像-文本建模与生成基准上实现最先进性能？

主要发现

• VHE-GAN通过集成现成模块（包括深度主题模型、阶梯式图像编码器与StackGAN++）实现优异性能，无需微调。
• VHE-栅格扫描-GAN变体通过多尺度、层次化语义的粗到细生成过程，实现照片级真实感图像生成。
• 模型的端到端训练有效捕捉并关联了跨模态的层次化语义与视觉概念。
• 该框架在广泛的图像-文本多模态学习与生成任务中表现出最先进性能。
• 将变分后验作为随机输入可增强生成多样性，同时保持高保真图像输出。
• 栅格扫描训练策略提升了层次化生成中的特征对齐与生成质量。