[论文解读] Multimodal Pretraining Unmasked: Unifying the Vision and Language BERTs.

Emanuele Bugliarello, Ryan Cotterell+2 more|arXiv (Cornell University)|Nov 30, 2020

Multimodal Machine Learning Applications参考文献 19被引用 18

一句话总结

本文在统一的理论框架下整合了单流与双流视觉-语言 BERT 模型，表明训练数据和超参数是模型性能差异的主要原因，同时突出了嵌入层在多模态预训练中的关键作用。该研究通过在五种 V&L BERT 模型上进行受控实验，提供了实证洞察。

ABSTRACT

Large-scale pretraining and task-specific fine-tuning is now the standard methodology for many tasks in computer vision and natural language processing. Recently, a multitude of methods have been proposed for pretraining vision and language BERTs to tackle challenges at the intersection of these two key areas of AI. These models can be categorized into either single-stream or dual-stream encoders. We study the differences between these two categories, and show how they can be unified under a single theoretical framework. We then conduct controlled experiments to discern the empirical differences between five V&L BERTs. Our experiments show that training data and hyperparameters are responsible for most of the differences between the reported results, but they also reveal that the embedding layer plays a crucial role in these massive models.

研究动机与目标

• 理解单流与双流视觉-语言 BERT 架构之间的理论与实证差异。
• 在多模态预训练的统一理论框架下，统一这两类架构。
• 隔离训练数据、超参数和模型组件（尤其是嵌入层）对模型性能的影响。
• 通过受控实验比较五种不同的 V&L BERT 模型，识别性能差异的关键驱动因素。

提出的方法

• 作者开发了一个统一的理论框架，涵盖视觉-语言预训练中单流与双流编码器架构。
• 他们在五种 V&L BERT 模型上进行受控的消融研究，保持所有组件不变，仅改变架构类型和训练设置。
• 通过分析其设计和对下游性能的影响，隔离嵌入层的贡献。
• 系统评估超参数和数据分布的影响，以确定其对报告结果的影响力。
• 在标准基准上进行实证比较，以在受控条件下测量性能差异。

实验结果

研究问题

• RQ1 单流与双流视觉-语言 BERT 模型在其底层归纳偏置和性能特征上存在哪些差异？
• RQ2 在 V&L BERT 模型之间，训练数据和超参数在多大程度上解释了性能差异？
• RQ3 嵌入层在决定多模态预训练模型成功中的作用是什么？
• RQ4 单流与双流架构能否在统一的理论框架下被形式化统一？

主要发现

• 训练数据和超参数是 V&L BERT 模型之间性能差异的主要驱动因素，其影响超过了架构选择。
• 嵌入层显著影响模型行为和性能，表明其在多模态表征学习中的关键作用。
• 尽管存在架构差异，单流与双流模型仍可在单一理论框架下统一，揭示了其共享的归纳偏置。
• 受控实验证明，报告的模型间性能差距通常归因于训练差异，而非固有的架构优越性。