[论文解读] VL-GPT: A Generative Pre-trained Transformer for Vision and Language Understanding and Generation

Jinguo Zhu, Xiaohan Ding+6 more|arXiv (Cornell University)|Dec 14, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

VL-GPT 是一种统一的生成式预训练变换器，通过单一的自回归目标实现端到端的多模态理解与生成。通过引入可学习的图像分词-重合成框架，它将原始图像映射为连续视觉嵌入并可逆地还原，使图像与文本序列能够被统一处理与生成，从而在视觉-语言任务中实现强大的零样本和少样本性能。

ABSTRACT

In this work, we introduce Vision-Language Generative Pre-trained Transformer (VL-GPT), a transformer model proficient at concurrently perceiving and generating visual and linguistic data. VL-GPT achieves a unified pre-training approach for both image and text modalities by employing a straightforward auto-regressive objective, thereby enabling the model to process image and text as seamlessly as a language model processes text. To accomplish this, we initially propose a novel image tokenizer-detokenizer framework for visual data, specifically designed to transform raw images into a sequence of continuous embeddings and reconstruct them accordingly. In combination with the existing text tokenizer and detokenizer, this framework allows for the encoding of interleaved image-text data into a multimodal sequence, which can subsequently be fed into the transformer model. Consequently, VL-GPT can perform large-scale pre-training on multimodal corpora utilizing a unified auto-regressive objective (i.e., next-token prediction). Upon completion of pre-training, VL-GPT exhibits remarkable zero-shot and few-shot performance across a diverse range of vision and language understanding and generation tasks, including image captioning, visual question answering, text-to-image generation, and more. Additionally, the pre-trained model retrains in-context learning capabilities when provided with multimodal prompts. We further conduct instruction tuning on our VL-GPT, highlighting its exceptional potential for multimodal assistance. The source code and model weights shall be released.

研究动机与目标

• 在单一自回归目标下统一视觉与语言预训练，消除对图像输入与生成分别建模的需求。
• 通过实现一致的视觉嵌入建模，解决现有多模态模型中图像表示在输入与输出之间不一致的问题。
• 通过统一的序列建模框架，实现端到端的多模态生成，包括文本、图像以及交错输出。
• 探索上下文学习与指令微调在多模态生成模型中的潜力，以支持通用辅助功能。
• 开发一种分词-重合成框架，通过 CLIP 和扩散模型的双重监督，同时保留图像细节与语义内容。

提出的方法

• 提出一种新颖的图像分词-重合成框架，将原始图像转换为连续视觉嵌入，并在像素空间中重建，类似于大语言模型中的文本分词。
• 利用预训练的 CLIP 图像与标题嵌入作为监督信号，训练分词器与重合成器，确保丰富的语义与感知保真度。
• 采用联合训练策略，利用预训练图像编码器和高质量扩散模型进行权重初始化，以提升效率与性能。
• 使用文本 BPE 分词与视觉嵌入序列，将交错的图文数据编码为统一的多模态序列，支持自回归建模。
• 采用混合损失函数：对视觉嵌入使用均方误差（MSE），对文本标记使用交叉熵，实现跨模态的联合下一个标记预测。
• 在重合成过程中同时使用文本与图像条件嵌入，以提升重建质量与语义一致性。

实验结果

研究问题

• RQ1 能否在共享的变换器架构下，将统一的自回归目标应用于视觉与语言模态？
• RQ2 可学习的图像分词-重合成框架在端到端多模态生成中，对保留图像细节与语义的效能如何？
• RQ3 联合估计文本与图像条件嵌入是否能提升图像重建质量与下游多模态任务性能？
• RQ4 VL-GPT 是否能通过多模态演示的上下文学习泛化到零样本与少样本视觉-语言任务？
• RQ5 指令微调在多大程度上增强了 VL-GPT 作为多模态助手在多样化生成与理解任务中的能力？

主要发现

• VL-GPT 在图像字幕生成、视觉问答和文本到图像生成任务中均达到最先进（SOTA）的零样本性能。
• 在 VQAv2 基准测试中，VL-GPT 在少样本设置（k=2）下达到 57.2% 的准确率，优于相同少样本条件下先前的方法。
• 模型展现出强大的上下文学习能力：在 VQA 任务中，提示中少样本示例数量越多，性能越高，表现出正相关性。
• 消融实验表明，同时使用文本与图像条件嵌入（eₜ + eᵥ）可获得最佳的图像重建质量与下游性能。
• 定性结果表明，VL-GPT 能够从长而复杂的文本提示中生成高度逼真的图像，并在多轮对话中保持多模态一致性。
• 指令微调使 VL-GPT 能够作为多功能多模态助手，灵活且上下文感知地生成文本与图像。