[论文解读] Towards a Unified Foundation Model: Jointly Pre-Training Transformers on Unpaired Images and Text

Qing Li, Boqing Gong+5 more|arXiv (Cornell University)|Dec 14, 2021

Advanced Neural Network Applications被引用 9

一句话总结

本文提出 ViT-BERT，一种统一的基础变换器模型，通过模态特定的分词器、共享的变换器编码器以及任务特定的输出头，联合预训练未配对的图像和文本数据。该方法引入了来自预训练 BERT 和 ViT 教师模型的知识蒸馏，以及一种梯度掩码策略以平衡多模态学习，从而在视觉和自然语言处理基准测试中实现接近独立模型的性能。

ABSTRACT

In this paper, we explore the possibility of building a unified foundation model that can be adapted to both vision-only and text-only tasks. Starting from BERT and ViT, we design a unified transformer consisting of modality-specific tokenizers, a shared transformer encoder, and task-specific output heads. To efficiently pre-train the proposed model jointly on unpaired images and text, we propose two novel techniques: (i) We employ the separately-trained BERT and ViT models as teachers and apply knowledge distillation to provide additional, accurate supervision signals for the joint training; (ii) We propose a novel gradient masking strategy to balance the parameter updates from the image and text pre-training losses. We evaluate the jointly pre-trained transformer by fine-tuning it on image classification tasks and natural language understanding tasks, respectively. The experiments show that the resultant unified foundation transformer works surprisingly well on both the vision-only and text-only tasks, and the proposed knowledge distillation and gradient masking strategy can effectively lift the performance to approach the level of separately-trained models.

研究动机与目标

• 探索使用单一变换器模型同时处理视觉和自然语言任务的可行性。
• 解决在未配对图像和文本数据上进行联合预训练而缺乏模态对齐的挑战。
• 最小化在共享单一模型架构下视觉和文本任务的性能退化。
• 开发能够有效实现多模态预训练的技术，以应对冲突的梯度信号和有限的监督信息。
• 验证统一模型是否能在下游任务中实现与分别预训练的 BERT 和 ViT 相当的性能。

提出的方法

• 设计一种统一的变换器架构，包含图像和文本的模态特定分词器、共享的变换器编码器以及任务特定的输出头。
• 使用分别预训练的 BERT 和 ViT 作为教师模型，在联合训练过程中提供知识蒸馏信号。
• 应用一种梯度掩码策略，根据梯度大小选择性地更新参数，通过逐步稀疏化掩码来平衡图像和文本的预训练。
• 在未配对的图像-文本数据（如维基百科）上端到端训练模型，使用来自两种模态的联合损失函数。
• 在训练过程中逐步增加掩码的稀疏度，优先保留对文本预训练贡献更大的梯度较大的参数。
• 在下游视觉和自然语言处理任务上微调统一模型，以评估其迁移能力。

实验结果

研究问题

• RQ1 能否有效使用单一变换器模型在未配对的图像和文本上进行预训练，从而作为视觉和语言任务的统一基础模型？
• RQ2 来自预训练 BERT 和 ViT 的知识蒸馏在多模态联合预训练中能如何提升性能？
• RQ3 梯度掩码策略是否能有效调和图像和文本预训练目标带来的冲突优化信号？
• RQ4 该统一模型在下游任务中与分别训练的 BERT 和 ViT 相比，性能能达到何种程度？
• RQ5 变换器编码器中的共享表征空间是否支持跨模态语义对齐？

主要发现

• 联合预训练的 ViT-BERT 模型在图像分类和自然语言理解任务中均表现出色，性能接近分别训练的 BERT 和 ViT。
• 来自预训练 BERT 和 ViT 的知识蒸馏显著提升了联合预训练过程中学习到的表征质量。
• 梯度掩码策略有效平衡了图像和文本预训练的学习信号，减少了性能退化。
• 变换器编码器的顶层发展出对图像和文本均激活的共享高层表征，表明存在跨模态语义对齐。
• 掩码稀疏度在更深的变换器块中增加更快，表明高层特征更易于在模态间共享参数。
• 定性分析显示，深层块中的神经元会因图像和文本中语义相似的概念（如图像中的“cat”和文本中的“cat”）而共同激活。