[论文解读] Vision-Language Pre-Training with Triple Contrastive Learning

Jinyu Yang, Jiali Duan+7 more|arXiv (Cornell University)|Feb 21, 2022

Multimodal Machine Learning Applications被引用 14

一句话总结

本文提出三重对比学习（TCL），一种视觉-语言预训练框架，通过结合跨模态对齐（CMA）、模内对比学习（IMC）和局部互信息最大化（LMI），增强表示学习。通过在模态间和局部区域中利用自监督学习，TCL在图像-文本检索和视觉问答任务上实现了最先进性能，在MSCOCO和Flickr30K基准上优于先前方法。

ABSTRACT

Vision-language representation learning largely benefits from image-text alignment through contrastive losses (e.g., InfoNCE loss). The success of this alignment strategy is attributed to its capability in maximizing the mutual information (MI) between an image and its matched text. However, simply performing cross-modal alignment (CMA) ignores data potential within each modality, which may result in degraded representations. For instance, although CMA-based models are able to map image-text pairs close together in the embedding space, they fail to ensure that similar inputs from the same modality stay close by. This problem can get even worse when the pre-training data is noisy. In this paper, we propose triple contrastive learning (TCL) for vision-language pre-training by leveraging both cross-modal and intra-modal self-supervision. Besides CMA, TCL introduces an intra-modal contrastive objective to provide complementary benefits in representation learning. To take advantage of localized and structural information from image and text input, TCL further maximizes the average MI between local regions of image/text and their global summary. To the best of our knowledge, ours is the first work that takes into account local structure information for multi-modality representation learning. Experimental evaluations show that our approach is competitive and achieves the new state of the art on various common down-stream vision-language tasks such as image-text retrieval and visual question answering.

研究动机与目标

• 解决现有视觉-语言预训练方法仅关注跨模态对齐的局限，忽略模内结构与局部特征表示。
• 通过引入模内对比学习（IMC），提升同一图像或文本的不同视图在嵌入空间中的接近度，从而改善表示质量。
• 通过最大化全局表示与局部图像块或文本标记之间的互信息，增强特征表达能力，捕捉结构化与局部细节。
• 通过加强模内及局部区域的自监督学习，缓解来自噪声较大的网络收集数据集的性能退化问题。
• 通过整合跨模态、模内与局部结构监督，实现更优的联合多模态表示，以支持下游任务。

提出的方法

• 提出一种三重对比学习（TCL）框架，结合三种对比目标：跨模态对齐（CMA）、模内对比学习（IMC）和局部互信息最大化（LMI）。
• 使用InfoNCE损失实现CMA，以最大化匹配图像-文本对之间的互信息，拉近其嵌入表示。
• 通过为同一图像（及文本）生成两个增强视图并最大化其互信息，应用IMC以提升模内鲁棒性。
• 引入LMI，以最大化全局[CLS]表示与每个局部块（图像）或标记（文本）之间的互信息，保留空间与结构上下文。
• 使用视觉与文本Transformer的最后层块嵌入作为局部特征，结合全局平均池化以降低维度，同时保持空间关系。
• 端到端训练模型，结合CMA、IMC与LMI损失，并采用动量更新机制生成正样本键。

实验结果

研究问题

• RQ1 模内对比学习是否能在仅依赖跨模态对齐的基础上，进一步提升视觉-语言表示质量？
• RQ2 在全局表示与局部图像/文本特征之间引入局部互信息最大化，是否能带来更好的下游性能？
• RQ3 在噪声较大的网络规模数据集中，整合跨模态、模内与局部结构监督如何影响表示学习？
• RQ4 数据规模与增强策略对所提TCL框架有效性有何影响？
• RQ5 使用最后一层块嵌入作为局部特征，是否优于中间层特征？

主要发现

• TCL在图像-文本检索任务上达到新的最先进性能，MSCOCO的R@1达94.8%，Flickr30K达82.8%，优于先前最先进方法。
• 消融实验表明，加入IMC（使用强增强）可使性能较基线最高提升1.4% R@1，证明其在模内学习中的有效性。
• 引入LMI后性能进一步提升，在MSCOCO上达到94.9% R@1，在Flickr30K上达84.0%，表明对局部结构的感知可增强表示质量。
• 使用最后一层块嵌入进行LMI，性能与中间层特征相当或更优，表明最终层表示更适合局部互信息最大化。
• 在更大数据集上预训练（14M vs. 4M）带来显著性能提升，R@1在各基准上提升2.9–3.4%，表明TCL具备良好的可扩展性。
• 动量系数$ m = 0.5 $时性能最优，不同于MoCo中的典型取值，表明TCL的动量机制具有独特动力学特性。