[论文解读] UniT: Multimodal Multitask Learning with a Unified Transformer

Ronghang Hu, Amanpreet Singh|arXiv (Cornell University)|Feb 22, 2021

Multimodal Machine Learning Applications被引用 5

一句话总结

UniT 提出了一种统一的 Transformer 架构，通过共享的编码器-解码器结构，联合训练七项多样化任务——从仅视觉（目标检测）和仅语言（GLUE 基准）任务，到多模态（VQA、视觉蕴涵）任务——使用任务特定的输出头。该模型在所有任务上均表现出色，且参数量远少于专用模型，展示了在单一端到端模型中实现高效多领域、多任务学习的能力。

ABSTRACT

We propose UniT, a Unified Transformer model to simultaneously learn the most prominent tasks across different domains, ranging from object detection to natural language understanding and multimodal reasoning. Based on the transformer encoder-decoder architecture, our UniT model encodes each input modality with an encoder and makes predictions on each task with a shared decoder over the encoded input representations, followed by task-specific output heads. The entire model is jointly trained end-to-end with losses from each task. Compared to previous efforts on multi-task learning with transformers, we share the same model parameters across all tasks instead of separately fine-tuning task-specific models and handle a much higher variety of tasks across different domains. In our experiments, we learn 7 tasks jointly over 8 datasets, achieving strong performance on each task with significantly fewer parameters. Our code is available in MMF at https://mmf.sh.

研究动机与目标

• 开发一个单一的统一 Transformer 模型，能够同时学习视觉、语言和多模态推理领域中的多样化任务。
• 通过在所有任务间共享参数，而非为每个任务训练独立模型，以降低模型复杂度。
• 通过单一架构和共享参数，实现多种异构任务的端到端联合训练。
• 探究跨不同模态和领域进行多任务学习是否能提升性能和泛化能力。
• 评估共享表征在促进单模态与多模态任务之间迁移学习方面的有效性。

提出的方法

• 模型使用独立的视觉和语言编码器，将图像和文本输入转化为上下文相关的表征。
• 一个共享的 Transformer 解码器关注来自所有模态的编码表征，并生成任务特定的输出。
• 每个任务在其解码器最终隐藏状态上应用任务特定的输出头，以生成预测结果。
• 整个模型通过组合损失函数进行端到端训练，该损失函数聚合了所有任务的损失。
• 使用任务特定的嵌入向量来引导解码器关注目标任务，使模型能够在同一架构下适应不同任务。
• 该架构在所有任务间共享所有编码器和解码器参数，从而在保持强大性能的同时最小化模型规模，并实现高效的多任务学习。

Figure 2: An overview of our UniT model, which jointly handles a wide range of tasks in different domains with a unified transformer encoder-decoder architecture. Our model uses an image encoder to encode the visual inputs (Sec. 3.1 ), a text encoder to encode the language inputs (Sec. 3.2 ), and a

实验结果

研究问题

• RQ1 一个单一的 Transformer 模型能否有效同时学习并执行视觉、语言和多模态推理领域中的多样化任务？
• RQ2 与专用模型相比，联合训练异构任务（如目标检测与自然语言蕴涵）是否能提升性能？
• RQ3 在所有任务间共享参数是否能在保持强性能的同时显著减少模型大小？
• RQ4 将单模态任务与多模态任务联合进行多任务学习，对每个任务的性能有何影响？
• RQ5 哪些超参数和架构选择（如解码器深度、损失加权）对稳定且高效的联合训练最为关键？

主要发现

• UniT 使用单一共享模型，在所有七个任务（目标检测、VQA、视觉蕴涵以及 GLUE 基准任务）上均取得优异性能，且参数量远少于专用模型。
• 尽管采用统一架构和共享超参数，该模型在各自任务上的表现与 DETR、VisualBERT 和 BERT 等专用 SOTA 模型相当。
• 多任务训练在联合训练单模态任务（如目标检测和自然语言蕴涵）与多模态任务（如 VQA 和视觉蕴涵）时，能提升后者的性能。
• 消融研究显示，增加解码器深度和隐藏层尺寸可提升检测性能，但过大的尺寸会导致训练发散。
• 使用 BERT 编码器的所有输出而非仅 [CLS] 标记对性能影响微乎其微，但显著增加计算成本。
• 稳定训练需要采用较小的学习率（5e-5）和较小的批量大小；过大的值会导致训练不稳定甚至发散。

Figure 3: Predictions of our model with a shared decoder (Table 3 line 5) across 8 datasets. Our model jointly handles a large variety of tasks above through a unified transformer encoder-decoder architecture.