[论文解读] Scheduled Sampling in Vision-Language Pretraining with Decoupled Encoder-Decoder Network

Yehao Li, Yingwei Pan+3 more|arXiv (Cornell University)|Jan 27, 2021

Multimodal Machine Learning Applications参考文献 46被引用 8

一句话总结

本文提出TDEN，一种用于视觉-语言预训练的双流解耦编码器-解码器网络，可同时支持视觉-语言理解与生成任务。通过采用一种新颖的两阶段调度采样策略，有效缓解了预训练与微调之间的差异，TDEN在四个下游视觉-语言任务中均取得了最先进性能，通过为掩码语言建模和掩码句子生成任务分别设计解耦的跨模态编码器与解码器，展现出卓越的泛化能力。

ABSTRACT

Despite having impressive vision-language (VL) pretraining with BERT-based encoder for VL understanding, the pretraining of a universal encoder-decoder for both VL understanding and generation remains challenging. The difficulty originates from the inherently different peculiarities of the two disciplines, e.g., VL understanding tasks capitalize on the unrestricted message passing across modalities, while generation tasks only employ visual-to-textual message passing. In this paper, we start with a two-stream decoupled design of encoder-decoder structure, in which two decoupled cross-modal encoder and decoder are involved to separately perform each type of proxy tasks, for simultaneous VL understanding and generation pretraining. Moreover, for VL pretraining, the dominant way is to replace some input visual/word tokens with mask tokens and enforce the multi-modal encoder/decoder to reconstruct the original tokens, but no mask token is involved when fine-tuning on downstream tasks. As an alternative, we propose a primary scheduled sampling strategy that elegantly mitigates such discrepancy via pretraining encoder-decoder in a two-pass manner. Extensive experiments demonstrate the compelling generalizability of our pretrained encoder-decoder by fine-tuning on four VL understanding and generation downstream tasks. Source code is available at \url{https://github.com/YehLi/TDEN}.

研究动机与目标

• 为解决预训练一个支持视觉-语言理解与生成任务的通用编码器-解码器模型的挑战。
• 缓解在MLM和MSG等代理任务中因使用掩码标记而引起的预训练-微调差异。
• 探索一种双流解耦架构在分别处理理解与生成代理任务时的有效性。
• 设计一种调度采样策略，通过在预训练期间模拟真实标记生成过程，提升泛化能力。
• 在多个下游视觉-语言任务上验证所提方法，证明其性能优于现有方法。

提出的方法

• 提出一种双流解耦架构，包含共享的物体与句子编码器，以及分别用于视觉-语言理解与生成任务的跨模态编码器与解码器。
• 在理解预训练中采用掩码语言建模（MLM）、掩码物体分类（MOC）和图像-句子匹配（ISM），在生成预训练中采用掩码句子生成（MSG）。
• 引入两阶段预训练方案：第一阶段，模型对掩码标记生成预测；第二阶段，使用前一阶段的预测结果替代[MASK]标记作为输入，以模拟真实推理过程。
• 通过将人工[MASK]标记替换为前一阶段生成的模型预测结果，实现调度采样，从而减少预训练中的暴露偏差。
• 利用共享的物体与句子编码器输出进行ISM，避免对跨模态编码器造成干扰，提升性能。
• 采用多任务学习设置，使跨模态编码器与解码器在理解与生成代理任务上联合预训练。

实验结果

研究问题

• RQ1 解耦的编码器-解码器架构是否能提升视觉-语言预训练在理解与生成任务上的泛化能力？
• RQ2 在预训练期间采用调度采样策略，对下游任务性能有何影响？
• RQ3 同时预训练跨模态编码器与解码器是否优于分别预训练？
• RQ4 在预训练的第二阶段使用模型生成的标记替代[MASK]标记，其影响如何？
• RQ5 在ISM实现中，使用跨模态编码器输出与使用物体/句子编码器输出，对整体性能的影响有何差异？

主要发现

• TDEN在所有四个下游视觉-语言任务上均达到新的最先进性能：视觉问题回答、图像字幕生成、视频字幕生成和图像-文本检索。
• 联合预训练跨模态编码器与解码器优于分别预训练，证实了在理解与生成任务间进行联合优化的优势。
• 使用物体与句子编码器输出进行图像-句子匹配（ISM）的效果优于使用跨模态编码器输出，后者因分布不匹配而表现较差。
• 两阶段调度采样策略相比标准预训练（无调度采样）显著提升了下游性能。
• 在评估的三种两阶段方案中，Two-Pass-C在性能与训练成本之间取得了最佳平衡，仅带来轻微的准确率下降。
• 消融实验确认，解耦设计与调度采样是TDEN成功的关键因素，在所有评估任务中均表现出一致的性能提升。