[论文解读] ROSITA: Enhancing Vision-and-Language Semantic Alignments via Cross- and Intra-modal Knowledge Integration

Yuhao Cui, Yu Zhou+5 more|arXiv (Cornell University)|Aug 16, 2021

Multimodal Machine Learning Applications参考文献 52被引用 4

一句话总结

ROSITA 提出了一种视觉-语言预训练方法，通过将跨模态和模内知识整合到统一的场景图中，利用一种新颖的结构化知识掩码（SKM）策略，增强了细粒度语义对齐，从而提升了掩码语言和区域建模的效果。该方法在三个视觉-语言任务的六个基准数据集上实现了最先进性能，通过更稳健和精确的跨模态对齐，超越了现有方法。

ABSTRACT

Vision-and-language pretraining (VLP) aims to learn generic multimodal representations from massive image-text pairs. While various successful attempts have been proposed, learning fine-grained semantic alignments between image-text pairs plays a key role in their approaches. Nevertheless, most existing VLP approaches have not fully utilized the intrinsic knowledge within the image-text pairs, which limits the effectiveness of the learned alignments and further restricts the performance of their models. To this end, we introduce a new VLP method called ROSITA, which integrates the cross- and intra-modal knowledge in a unified scene graph to enhance the semantic alignments. Specifically, we introduce a novel structural knowledge masking (SKM) strategy to use the scene graph structure as a priori to perform masked language (region) modeling, which enhances the semantic alignments by eliminating the interference information within and across modalities. Extensive ablation studies and comprehensive analysis verifies the effectiveness of ROSITA in semantic alignments. Pretrained with both in-domain and out-of-domain datasets, ROSITA significantly outperforms existing state-of-the-art VLP methods on three typical vision-and-language tasks over six benchmark datasets.

研究动机与目标

• 为解决现有视觉-语言预训练（VLP）方法在充分利用图像-文本对内在知识方面的局限性。
• 改善图像区域与文本词语之间的细粒度语义对齐，这对下游视觉+语言任务至关重要。
• 在统一框架中整合跨模态知识（图像与文本之间）和模内知识（每种模态内部）。
• 开发一种利用结构化知识的鲁棒掩码策略，以实现更有效的预训练。
• 在多样化的视觉-语言基准上展示一致的性能提升。

提出的方法

• 构建以锚定对象为中心的统一场景图，编码跨模态关系（例如，'grass' ↔ 'steppe'）和模内关系（例如，空间相关的区域或语义相关的词语）。
• 提出一种新颖的结构化知识掩码（SKM）策略，掩码锚定对象，并根据其在场景图中的结构角色，选择性地掩码相关知识条目。
• 为每个知识条目使用独立的掩码概率，以实现对信息掩码的细粒度控制，相比统一概率策略更具鲁棒性。
• 将 SKM 无缝集成到现有 VLP 模型中使用的标准掩码语言（区域）建模目标中。
• 使用统一场景图和 SKM，在域内和域外数据集上对模型进行预训练，以增强跨模态对齐。

Figure 1 . Schematic of the knowledge integration strategies of three VLP methods, i.e. , OSCAR (Li et al . , 2020b ) , ERNIE-ViL (Yu et al . , 2021 ) , and our ROSITA. OSCAR and ERNIE-ViL only exploit the intra-modal knowledge from the image and text modalities, respectively. In contrast, ROSITA si

实验结果

研究问题

• RQ1 在统一场景图中整合跨模态和模内知识，是否能提升视觉-语言语义对齐？
• RQ2 所提出的结构化知识掩码（SKM）策略与标准掩码方法相比，在增强对齐学习方面表现如何？
• RQ3 为每个知识条目使用独立掩码概率，是否比固定且相同的概率策略带来更好的泛化能力？
• RQ4 统一知识整合策略是否能在多样化视觉-语言基准上持续提升性能？
• RQ5 与 UNITER 等基线模型相比，ROSITA 在注意力机制驱动的跨模态对齐方面提升了多少？

主要发现

• ROSITA 在六个基准数据集上的三个核心视觉-语言任务（视觉问答、图像-文本检索、指代表达理解）中，显著超越了现有最先进 VLP 方法。
• 完整版 ROSITA 模型始终优于所有消融变体，证实了联合整合跨模态与模内知识的有效性。
• 采用独立掩码概率的 SKM 策略相比相同概率策略表现更优，后者对超参数选择更为敏感。
• 可视化注意力图显示，ROSITA 能够学习到精确的跨模态对齐——例如，正确将被掩码的 'ramp' 区域与单词 'ramp' 对齐——而基线模型如 UNITER 则失败，错误关注到 'skate' 等不正确标记。
• 当多个区域或词语被同时掩码时，ROSITA 仍能保持准确对齐，正确关联 'bowl & carrots' 到 'bowl' 和 'carrots'，以及 'man', 'candles', 和 'cake' 到其对应的图像区域。

Figure 2 . The flowchart of knowledge extraction given an image-text pair. It consists of two main stages, namely the unified scene graph construction and knowledge representation.