[论文解读] UniCLIP: Unified Framework for Contrastive Language-Image Pre-training

Janghyeon Lee, Jong‐Suk Kim+5 more|arXiv (Cornell University)|Sep 27, 2022

Multimodal Machine Learning Applications被引用 21

一句话总结

UniCLIP 将跨域与域内对比学习统一到一个嵌入空间，引入对增强的嵌入、MP-NCE 损失，以及域相关的相似性，以提升下游任务的视觉–语言预训练。

ABSTRACT

Pre-training vision-language models with contrastive objectives has shown promising results that are both scalable to large uncurated datasets and transferable to many downstream applications. Some following works have targeted to improve data efficiency by adding self-supervision terms, but inter-domain (image-text) contrastive loss and intra-domain (image-image) contrastive loss are defined on individual spaces in those works, so many feasible combinations of supervision are overlooked. To overcome this issue, we propose UniCLIP, a Unified framework for Contrastive Language-Image Pre-training. UniCLIP integrates the contrastive loss of both inter-domain pairs and intra-domain pairs into a single universal space. The discrepancies that occur when integrating contrastive loss between different domains are resolved by the three key components of UniCLIP: (1) augmentation-aware feature embedding, (2) MP-NCE loss, and (3) domain dependent similarity measure. UniCLIP outperforms previous vision-language pre-training methods on various single- and multi-modality downstream tasks. In our experiments, we show that each component that comprises UniCLIP contributes well to the final performance.

研究动机与目标

• 通过将域内和域间对比损失整合到一个空间，推动数据高效的视觉–语言预训练。
• 解决在组合图像与文本模态时，由于增强造成的错位。
• 开发训练技巧，以平衡跨域的多组正样本。
• 在下游任务上证明统一框架的有效性。

提出的方法

• 使用增强编码器 fA 将增强效应捕获为向量。
• 使图像编码器 fI 对增强不敏感，而投影头 gI 对增强敏感。
• 使用文本编码器 fT 及投影头 gT 在同一空间中产生文本嵌入。
• 引入 MP-NCE 损失，以处理包括域内和域间对的多组正样本的情况，并附带域特定权重。
• 采用带有每个域温度和偏移的域相关相似度分数，以对齐域内外的相似度。
• 提供一个域感知的相似度度量：s_{i,j} = exp((1/τ_{D(i,j)})(z_i^⊤ z_j / (||z_i|| ||z_j||) - b_{D(i,j)})).

实验结果

研究问题

• RQ1 单一的统一嵌入空间是否能有效承载域内和域间对比目标？
• RQ2 增强引起的错位如何影响跨模态对比学习，又如何减轻？
• RQ3 与现有方法相比，增强感知嵌入、MP-NCE 损失和域相关相似度是否提高数据效率和下游性能？
• RQ4 每个 UniCLIP 组件对跨多模态和任务的总体性能贡献是什么？

主要发现

• UniCLIP 在各种单模态和多模态下游任务上超越了以往的视觉–语言预训练方法。
• UniCLIP 的每个组件在实验中对最终性能均有贡献。
• MP-NCE 使在统一空间内对简单和困难正样本的训练变得稳定。
• 域相关的相似度度量使不同域组合具有恰当的相似度尺度。