[论文解读] X-CLIP: End-to-End Multi-grained Contrastive Learning for Video-Text Retrieval

Yiwei Ma, Guohai Xu+4 more|arXiv (Cornell University)|Jul 15, 2022

Multimodal Machine Learning Applications被引用 16

一句话总结

X-CLIP 提出了一种用于视频-文本检索的端到端多粒度对比学习框架，通过在粗粒度与细粒度表示之间引入跨粒度对比，以过滤无关帧和词汇。结合用于相似度聚合的相似度矩阵注意力模块（AOSM），该方法在包括 MSR-VTT 和 LSMDC 在内的五个基准测试中实现了最先进性能，R@1 提升达 +6.3% 至 +11.1%。

ABSTRACT

Video-text retrieval has been a crucial and fundamental task in multi-modal research. The development of video-text retrieval has been considerably promoted by large-scale multi-modal contrastive pre-training, which primarily focuses on coarse-grained or fine-grained contrast. However, cross-grained contrast, which is the contrast between coarse-grained representations and fine-grained representations, has rarely been explored in prior research. Compared with fine-grained or coarse-grained contrasts, cross-grained contrast calculate the correlation between coarse-grained features and each fine-grained feature, and is able to filter out the unnecessary fine-grained features guided by the coarse-grained feature during similarity calculation, thus improving the accuracy of retrieval. To this end, this paper presents a novel multi-grained contrastive model, namely X-CLIP, for video-text retrieval. However, another challenge lies in the similarity aggregation problem, which aims to aggregate fine-grained and cross-grained similarity matrices to instance-level similarity. To address this challenge, we propose the Attention Over Similarity Matrix (AOSM) module to make the model focus on the contrast between essential frames and words, thus lowering the impact of unnecessary frames and words on retrieval results. With multi-grained contrast and the proposed AOSM module, X-CLIP achieves outstanding performance on five widely-used video-text retrieval datasets, including MSR-VTT (49.3 R@1), MSVD (50.4 R@1), LSMDC (26.1 R@1), DiDeMo (47.8 R@1) and ActivityNet (46.2 R@1). It outperforms the previous state-of-theart by +6.3%, +6.6%, +11.1%, +6.7%, +3.8% relative improvements on these benchmarks, demonstrating the superiority of multi-grained contrast and AOSM.

研究动机与目标

• 为解决现有视频-文本检索模型仅关注粗粒度或细粒度对比的局限性，并未能有效过滤无关帧和词汇的问题。
• 探索跨粒度对比——将粗粒度视频/句子特征与单个细粒度帧/词汇特征进行比较——以通过抑制无关成分来提升检索准确性。
• 解决相似度聚合问题，即将来自不同粒度的多个相似度矩阵（细粒度、粗粒度、跨粒度）整合为单一实例级相似度得分。
• 设计一种可学习机制，以增强关键帧-词与句子-视频交互，同时降低噪声或无关特征的影响。

提出的方法

• X-CLIP 使用双流 Transformer 架构与时间编码器对视频和文本进行编码，生成粗粒度（视频/句子级）和细粒度（帧/词级）表示。
• 执行三种类型的对比学习：细粒度（帧-词）、粗粒度（视频-句子）和跨粒度（视频-词与句子-帧），以捕捉多层次语义对齐。
• 注意力相似度矩阵（AOSM）模块学习对来自不同粒度的相似度矩阵进行注意力聚合，动态强调相关帧-词与句子-视频对。
• AOSM 中的温度控制 Softmax 平衡高、低相似度得分的影响，防止噪声主导或关键信号被忽略。
• 模型通过在所有三种对比信号上使用对比损失进行端到端训练，联合优化视觉、文本与跨粒度表示。
• 视频流中的时间编码器建模帧之间的序列依赖关系，增强模型对需要多帧上下文理解的动作的建模能力。

实验结果

研究问题

• RQ1 粗粒度与细粒度表示之间的跨粒度对比是否能通过过滤无关帧和词汇来提升视频-文本检索性能？
• RQ2 如何将来自不同粒度的多个相似度矩阵有效聚合为一个稳健的实例级相似度得分？
• RQ3 所提出的 AOSM 模块是否优于传统聚合策略（如 Mean-Max），从而更有效地降低噪声或无关特征的影响？
• RQ4 多粒度对比学习在多样化视频-文本基准测试中，能在多大程度上提升检索性能？

主要发现

• X-CLIP 在五个视频-文本检索基准上实现了最先进性能，R@1 分数分别为：MSR-VTT 上 49.3，MSVD 上 50.4，LSMDC 上 26.1，DiDeMo 上 47.8，ActivityNet 上 46.2。
• 与之前的 SOTA 方法相比，该模型在 MSR-VTT 上 R@1 提升 +6.3%，在 MSVD 上提升 +6.6%，在 LSMDC 上提升 +11.1%，在 DiDeMo 上提升 +6.7%，在 ActivityNet 上提升 +3.8%。
• 消融实验表明，时间编码器显著提升了性能，在 MSR-VTT 上加入后 R@1 提升 +1.0% 至 +1.2%。
• AOSM 中最优温度参数 τ = 0.01 时性能最佳，相比 τ = 0.1 和 τ = 1.0 有 0.9%–1.2% 的提升。
• 定性结果表明，X-CLIP 能够有效区分语义相似但内容不同的视频与句子，尤其在复杂或模糊场景中表现优异。
• AOSM 模块始终优于基线聚合策略（如 Mean-Max），证明其在聚焦相关帧-词与句子-视频对方面的有效性。