[论文解读] SemVLP: Vision-Language Pre-training by Aligning Semantics at Multiple Levels

Chenliang Li, Ming Yan+5 more|arXiv (Cornell University)|Mar 14, 2021

Multimodal Machine Learning Applications参考文献 28被引用 20

一句话总结

SemVLP 提出了一种统一的视觉-语言预训练框架，通过迭代式地使用共享的单流和双流 Transformer 架构，在低层次特征和高层次语义层面同时对齐图像和文本表征。通过引入可插拔的跨模态注意力模块并实现参数共享，SemVLP 在多个视觉-语言任务上实现了最先进性能，优于相同参数量的现有单流和双流模型。

ABSTRACT

Vision-language pre-training (VLP) on large-scale image-text pairs has recently witnessed rapid progress for learning cross-modal representations. Existing pre-training methods either directly concatenate image representation and text representation at a feature level as input to a single-stream Transformer, or use a two-stream cross-modal Transformer to align the image-text representation at a high-level semantic space. In real-world image-text data, we observe that it is easy for some of the image-text pairs to align simple semantics on both modalities, while others may be related after higher-level abstraction. Therefore, in this paper, we propose a new pre-training method SemVLP, which jointly aligns both the low-level and high-level semantics between image and text representations. The model is pre-trained iteratively with two prevalent fashions: single-stream pre-training to align at a fine-grained feature level and two-stream pre-training to align high-level semantics, by employing a shared Transformer network with a pluggable cross-modal attention module. An extensive set of experiments have been conducted on four well-established vision-language understanding tasks to demonstrate the effectiveness of the proposed SemVLP in aligning cross-modal representations towards different semantic granularities.

研究动机与目标

• 为解决现有视觉-语言预训练方法局限于单一语义对齐层次的局限性。
• 通过联合建模细粒度的特征级语义与高层次的抽象语义，弥合视觉与语言之间的语义鸿沟。
• 通过共享 Transformer 和可插拔的跨注意力模块，统一单流与双流架构的优势。
• 通过在具有不同语义粒度的图像-文本对（如详细描述与抽象描述）上提升泛化能力。

提出的方法

• SemVLP 在单流和双流预训练模式中均使用共享的 Transformer 编码器，以实现参数共享和相互正则化。
• 在单流模式下，将图像区域特征与文本标记拼接后输入共享 Transformer，实现端到端的特征级对齐。
• 在双流模式下，图像和文本分别通过共享 Transformer 编码，随后通过可插拔的跨注意力模块实现高层次语义融合。
• 模型在两种模式间迭代预训练，使网络能够学习在多个语义粒度上的跨模态对齐。
• 跨注意力模块被动态插入到不同层（例如 L_s = 6），以优化高层次语义对齐。
• 微调阶段使用单流架构，实证表明其性能优于双流微调。

实验结果

研究问题

• RQ1 与固定层次对齐相比，是否在多个语义层次上联合预训练能提升视觉-语言表征学习？
• RQ2 通过参数共享结合单流与双流架构，对模型泛化能力有何影响？
• RQ3 在双流模式中，应在哪一层引入跨注意力模块，以最佳平衡低层次与高层次语义对齐？
• RQ4 通过两种模式的迭代预训练是否能正则化模型并提升下游任务性能？
• RQ5 对于经过两种模式联合预训练的模型，单流微调是否比双流微调更有效？

主要发现

• 12 层的 SemVLP 模型在四个基准任务上均优于相同参数量的所有先前单流与双流架构。
• 在 VQA 任务中，SemVLP 达到 74.52% 的准确率，超过单流基线（74.52%）和双流基线（73.92%）的微调性能。
• 消融实验表明，同时使用单流与双流模式进行预训练的性能优于仅使用任一模式。
• 当跨注意力在第 L_s = 6 层引入时，双流模式达到最优性能，表明中层抽象最有利于高层次对齐。
• 可视化结果表明，SemVLP 能够在注意力图中正确区分 'person' 与 'people'，而单流模型则无法做到。
• 在所有任务上，使用单流架构进行微调均取得更优结果，表明预训练过程增强了特征级融合能力。