[论文解读] Vision-Language Matching for Text-to-Image Synthesis via Generative Adversarial Networks

Qingrong Cheng, Keyu Wen+1 more|arXiv (Cornell University)|Aug 20, 2022

Multimodal Machine Learning Applications被引用 4

一句话总结

该论文提出 VLMGAN*，一种新颖的文本到图像合成框架，采用双视觉-语言匹配机制，通过将生成图像同时与文本描述和真实图像对齐，显著提升图像真实感与语义一致性。该方法通过将视觉-语言匹配整合到基于 GAN 的生成器中，在 CUB 和 MSCOCO 数据集上实现了最先进性能，新提出的 VLMS 评估指标验证了文本与图像之间更优的对齐效果。

ABSTRACT

Text-to-image synthesis aims to generate a photo-realistic and semantic consistent image from a specific text description. The images synthesized by off-the-shelf models usually contain limited components compared with the corresponding image and text description, which decreases the image quality and the textual-visual consistency. To address this issue, we propose a novel Vision-Language Matching strategy for text-to-image synthesis, named VLMGAN*, which introduces a dual vision-language matching mechanism to strengthen the image quality and semantic consistency. The dual vision-language matching mechanism considers textual-visual matching between the generated image and the corresponding text description, and visual-visual consistent constraints between the synthesized image and the real image. Given a specific text description, VLMGAN* firstly encodes it into textual features and then feeds them to a dual vision-language matching-based generative model to synthesize a photo-realistic and textual semantic consistent image. Besides, the popular evaluation metrics for text-to-image synthesis are borrowed from simple image generation, which mainly evaluates the reality and diversity of the synthesized images. Therefore, we introduce a metric named Vision-Language Matching Score (VLMS) to evaluate the performance of text-to-image synthesis which can consider both the image quality and the semantic consistency between synthesized image and the description. The proposed dual multi-level vision-language matching strategy can be applied to other text-to-image synthesis methods. We implement this strategy on two popular baselines, which are marked with ${ ext{VLMGAN}_{+ ext{AttnGAN}}}$ and ${ ext{VLMGAN}_{+ ext{DFGAN}}}$. The experimental results on two widely-used datasets show that the model achieves significant improvements over other state-of-the-art methods.

研究动机与目标

• 解决文本到图像合成中的语义不一致问题，即尽管图像具有高 realism，但生成图像往往无法匹配详细文本描述。
• 通过引入双层次多级视觉-语言匹配机制，同时强化文本到图像和图像到图像的一致性，提升图像质量和文本-视觉对齐效果。
• 开发一种新型评估指标——视觉-语言匹配分数（VLMS），以更准确反映人类对图文对齐的感知，超越传统 GAN 评估指标。
• 验证所提方法在多样化文本描述和属性变化下的泛化能力与鲁棒性。
• 使双匹配策略可作为插件模块应用于现有文本到图像 GAN 基线模型，无需架构重构即可提升性能。

提出的方法

• 提出双视觉-语言匹配机制，同时强制生成图像与文本描述之间的文本-视觉对齐，以及生成图像与真实图像之间的视觉-视觉一致性。
• 使用预训练的视觉和文本编码器，从图像和文本中提取多层级局部特征，实现在区域级别的细粒度对齐。
• 设计一个以文本嵌入为条件的生成器网络，合成图像的同时通过对抗损失和双匹配损失进行优化。
• 构建两个关键损失组件：视觉-视觉匹配（VVM）损失，用于对齐生成图像与真实图像；视觉-语言匹配（VLM）损失，用于对齐生成图像与文本描述。
• 端到端训练模型，使用包含对抗损失、VVM 损失和 VLM 损失的联合损失函数，生成器最小化全部三项损失。
• 提出视觉-语言匹配分数（VLMS）作为新型评估指标，通过使用预训练的 CLIP 类模型比较图像-文本嵌入，以评估图像质量与语义一致性。

实验结果

研究问题

• RQ1 双视觉-语言匹配机制是否能显著提升生成图像与其对应文本描述之间的语义一致性？
• RQ2 在生成图像与真实图像之间强制实现视觉-视觉一致性，是否能进一步提升文本到图像合成中的图像质量与真实感？
• RQ3 所提出的视觉-语言匹配分数（VLMS）是否能作为比传统 GAN 评估指标（如 FID 或 IS）更可靠且更符合人类感知的评估指标？
• RQ4 双匹配策略在多大程度上可泛化并应用于现有最先进文本到图像 GAN 模型？
• RQ5 当文本描述中的关键属性被修改，或从同一描述生成多张图像时，该方法的鲁棒性如何？

主要发现

• 所提出的 ${\text{VLMGAN}_{+\text{AttnGAN}}}$ 模型在 MSCOCO 数据集上取得最高的 VLMS 分数，优于基线 AttnGAN 及其他 SOTA 方法。
• ${\text{VLMGAN}_{+\text{DFGAN}}}$ 模型在 CUB 数据集上取得最高 VLMS 分数，证明其在细粒度图像-文本对齐方面的卓越性能。
• VLMS 指标与人类感知具有强相关性：视觉质量较低或存在语义不一致的图像得分显著降低。
• 模型在相同文本描述下多次生成图像时保持高度一致性，即使姿态和风格存在变化，鸟类颜色和喙部类型等属性仍被准确保留。
• 该方法对属性修改具有良好的泛化能力——当文本中关键属性发生变化时，生成图像能相应调整，验证了其鲁棒性。
• 训练损失分析显示，VVM 与 VLM 损失均稳定收敛，其中 VVM 损失下降更显著，表明视觉-视觉对齐学习效果良好。