[论文解读] Unified Multimodal Pre-training and Prompt-based Tuning for Vision-Language Understanding and Generation

Tianyi Liu, Zuxuan Wu+3 more|arXiv (Cornell University)|Dec 10, 2021

Multimodal Machine Learning Applications被引用 8

一句话总结

本文提出UniVL，一种统一的视觉-语言预训练框架，通过在预训练过程中结合双向掩码和自回归掩码，整合了理解与生成能力。通过将下游任务表述为基于提示的微调文本生成任务，UniVL在视觉-语言理解与生成任务上均取得了具有竞争力的性能，且在少样本设置下，基于提示的微调展现出更优的数据效率。

ABSTRACT

Most existing vision-language pre-training methods focus on understanding tasks and use BERT-like objectives (masked language modeling and image-text matching) during pretraining. Although they perform well in many understanding downstream tasks, e.g., visual question answering, image-text retrieval and visual entailment, they do not possess the ability to generate. To tackle this problem, we propose Unified multimodal pre-training for both Vision-Language understanding and generation (UniVL). The proposed UniVL is capable of handling both understanding tasks and generative tasks. We augment existing pretraining paradigms that only use random masks with causal masks, i.e., triangular masks that mask out future tokens, such that the pre-trained models can have autoregressive generation abilities by design. We formulate several previous understanding tasks as a text generation task and propose to use prompt-based method for fine-tuning on different downstream tasks. Our experiments show that there is a trade-off between understanding tasks and generation tasks while using the same model, and a feasible way to improve both tasks is to use more data. Our UniVL framework attains comparable performance to recent vision-language pre-training methods on both understanding tasks and generation tasks. Moreover, we demostrate that prompt-based finetuning is more data-efficient - it outperforms discriminative methods in few-shot scenarios.

研究动机与目标

• 为解决现有视觉-语言模型仅关注理解任务而缺乏生成能力的局限性。
• 在单一共享架构中统一视觉-语言理解与生成的多模态预训练。
• 通过采用基于提示的微调而非任务特定分类器，提升少样本泛化能力。
• 探究统一模型中理解与生成性能之间的权衡。
• 评估因果掩码和可学习提示设计在增强生成与判别能力方面的有效性。

提出的方法

• 在预训练过程中，通过引入因果（三角形）掩码来增强标准的双向掩码，以支持自回归生成。
• 使用包含图像和文本编码器的多模态Transformer，随后通过交叉注意力融合实现联合表征学习。
• 通过插入[掩码]标记，将基于分类的理解任务（如VQA、视觉蕴涵）重新表述为掩码语言建模任务。
• 采用可学习的[未使用]标记作为上下文提示，以引导模型生成，并通过优化提示位置与长度以提升性能。
• 使用基于提示的生成进行统一模型微调，其中模型基于图像和文本输入预测[掩码]标记。
• 将基于提示的生成与使用线性分类器的判别式微调进行比较，评估两者在理解与生成基准上的表现。

实验结果

研究问题

• RQ1 单一统一的视觉-语言模型是否能有效处理理解与生成任务，而无需独立的架构？
• RQ2 在预训练过程中引入因果掩码如何影响模型的生成能力？
• RQ3 与判别式微调相比，基于提示的微调在多大程度上提升了少样本性能？
• RQ4 在统一的预训练设置下，理解与生成性能之间存在何种权衡？
• RQ5 提示位置与长度如何影响基于提示的微调在下游任务上的有效性？

主要发现

• 在预训练过程中加入因果掩码显著提升了图像字幕生成的生成性能，同时略微降低了理解任务的表现。
• 理解与生成性能之间存在权衡，但增加预训练数据可缓解这种不平衡，从而同时提升两类任务的性能。
• 基于提示的微调在理解任务上的表现与判别式方法相当，尤其在少样本场景下表现更优。
• 在VQA与视觉蕴涵任务中，基于提示的生成在低数据环境下优于判别式方法，因其具备更好的泛化能力。
• 最优提示长度约为16个标记；更长的提示（如32个标记）在准确率上带来的增益逐渐减少。
• 将提示置于输入序列中间（如[问题] + [上下文] + [掩码]）相比置于开头，能获得更好的性能，尤其在VQA与视觉蕴涵任务中。