[论文解读] Uni-Perceiver: Pre-training Unified Architecture for Generic Perception for Zero-shot and Few-shot Tasks

Xizhou Zhu, Jinguo Zhu+6 more|arXiv (Cornell University)|Dec 2, 2021

Domain Adaptation and Few-Shot Learning参考文献 78被引用 8

一句话总结

Uni-Perceiver 提出了一种统一的、参数共享的架构，通过单个孪生 Transformer 编码器处理多种模态和感知任务，将所有任务建模为共享表征空间中的基于相似性的检索。该模型在多模态和单模态任务上进行预训练，实现了对未见任务的零样本性能，并通过提示调优仅使用 1% 的微调数据即达到 SOTA 水平的结果。

ABSTRACT

Biological intelligence systems of animals perceive the world by integrating information in different modalities and processing simultaneously for various tasks. In contrast, current machine learning research follows a task-specific paradigm, leading to inefficient collaboration between tasks and high marginal costs of developing perception models for new tasks. In this paper, we present a generic perception architecture named Uni-Perceiver, which processes a variety of modalities and tasks with unified modeling and shared parameters. Specifically, Uni-Perceiver encodes different task inputs and targets from arbitrary modalities into a unified representation space with a modality-agnostic Transformer encoder and lightweight modality-specific tokenizers. Different perception tasks are modeled as the same formulation, that is, finding the maximum likelihood target for each input through the similarity of their representations. The model is pre-trained on several uni-modal and multi-modal tasks, and evaluated on a variety of downstream tasks, including novel tasks that did not appear in the pre-training stage. Results show that our pre-trained model without any tuning can achieve reasonable performance even on novel tasks. The performance can be improved to a level close to state-of-the-art methods by conducting prompt tuning on 1% of downstream task data. Full-data fine-tuning further delivers results on par with or better than state-of-the-art results. Code shall be released.

研究动机与目标

• 解决机器学习中特定任务感知模型效率低下和边际成本过高的问题。
• 通过统一多种模态和任务的单一架构与共享参数，实现通用感知。
• 在预训练期间未见过的新任务上实现零样本推理。
• 通过仅使用极少标注数据的高效提示调优，降低下游微调成本。
• 通过在任务间对齐预训练与推理的建模范式，提升知识迁移能力。

提出的方法

• 使用轻量级、模态特定的分词器，将任意模态（如图像、文本、视频）的输入和目标编码为统一的标记序列。
• 通过模态无关的 Transformer 编码器处理所有标记序列，生成统一空间中的共享表征。
• 将所有感知任务建模为基于相似性的检索：寻找与输入表征相似度最高的目标。
• 在单模态（如图像分类、语言建模）和多模态（如图文检索）任务的组合上对模型进行预训练。
• 通过直接计算输入与候选目标之间的相似度，无需任何微调，实现零样本推理。
• 仅使用下游数据的 1% 进行提示调优，即可使性能接近 SOTA；使用 100% 数据进行全微调，可达到最先进水平。

Figure 1 : Comparing previous task-specific perception models with our proposed Uni-Perceiver, which processes various modalities and tasks with a single siamese model and shared parameters.

实验结果

研究问题

• RQ1 具有共享参数的统一架构是否能在多种感知任务和模态上实现零样本泛化？
• RQ2 基于相似性的表征匹配作为统一建模范式，在多种感知任务中有多高效？
• RQ3 使用极少数据的提示调优在未见任务上能多大程度上提升零样本性能？
• RQ4 单个预训练模型是否能在极少适应下超越特定任务模型在下游任务上的表现？
• RQ5 该统一模型在多个基准和模态上的性能与 SOTA 方法相比如何？

主要发现

• 预训练的 Uni-Perceiver 在未包含在预训练中的新任务（如视频字幕、图文检索、视觉问答）上实现了合理的零样本性能。
• 仅使用 1% 的下游数据进行提示调优，即可使 VQA 和 GLUE 等任务的性能接近 SOTA 水平。
• 使用 100% 的下游数据进行全微调，在 GLUE 和 VQA 等基准上达到或优于 SOTA 方法的性能。
• 在 GLUE 基准上，该模型在零样本评估中达到 81.7% 的准确率，与经过微调的 BERT BASE 的 84.6% 相当。
• 该模型展现出强大的少样本泛化能力，仅用 1% 数据进行提示调优，即可在 MNLI 上达到 60.1% 的准确率，在 QNLI 上达到 70.2% 的 F1 值，接近 SOTA 水平。
• 尽管参数量与 BERT BASE 相同，该模型在全微调时表现略逊于 BERT BASE，可能由于其更广泛的多任务和多模态预训练容量约束所致。

Figure 2 : Overview of our unified architecture for generic perception. Different task inputs and targets from arbitrary modalities are converted into unified token sequences with modality-specific tokenizers. A modality-agnostic weight-sharing Transformer encoder is then applied to encode these tok