[论文解读] Text Is MASS: Modeling as Stochastic Embedding for Text-Video Retrieval

Jiamian Wang, Guohao Sun+6 more|arXiv (Cornell University)|Mar 26, 2024

Video Analysis and Summarization被引用 4

一句话总结

该论文提出 T-MASS，一种新颖的随机文本嵌入方法，将文本建模为联合嵌入空间中的分布（即“质量”），以更好地捕捉视频的丰富冗余语义。通过引入相似性感知半径模块和支撑文本正则化，T-MASS 改进了文本与视频之间的对齐，实现了 SOTA 性能，在包括 MSRVTT、LSMDC、DiDeMo、VATEX 和 Charades 在内的五个基准上，R@1 提升了 3%–6.3%。

ABSTRACT

The increasing prevalence of video clips has sparked growing interest in text-video retrieval. Recent advances focus on establishing a joint embedding space for text and video, relying on consistent embedding representations to compute similarity. However, the text content in existing datasets is generally short and concise, making it hard to fully describe the redundant semantics of a video. Correspondingly, a single text embedding may be less expressive to capture the video embedding and empower the retrieval. In this study, we propose a new stochastic text modeling method T-MASS, i.e., text is modeled as a stochastic embedding, to enrich text embedding with a flexible and resilient semantic range, yielding a text mass. To be specific, we introduce a similarity-aware radius module to adapt the scale of the text mass upon the given text-video pairs. Plus, we design and develop a support text regularization to further control the text mass during the training. The inference pipeline is also tailored to fully exploit the text mass for accurate retrieval. Empirical evidence suggests that T-MASS not only effectively attracts relevant text-video pairs while distancing irrelevant ones, but also enables the determination of precise text embeddings for relevant pairs. Our experimental results show a substantial improvement of T-MASS over baseline (3% to 6.3% by R@1). Also, T-MASS achieves state-of-the-art performance on five benchmark datasets, including MSRVTT, LSMDC, DiDeMo, VATEX, and Charades.

研究动机与目标

• 为解决单点文本嵌入在捕捉视频完整语义丰富性方面的局限性。
• 通过将文本建模为灵活自适应的分布，改进联合嵌入空间中文本与视频表示之间的对齐。
• 通过在文本嵌入中引入稳健的语义范围，提升检索的鲁棒性和准确性。
• 开发一种训练策略，有效正则化随机文本质量，同时避免其学习过程产生偏差。
• 重新设计推理过程，以充分利用文本质量的随机特性，从而提升检索性能。

提出的方法

• T-MASS 将文本建模为随机嵌入（即“质量”），而非嵌入空间中的单一点，利用基于 CLIP 的文本特征进行重参数化。
• 相似性感知半径模块根据查询文本与视频对之间的相似性，动态调整文本质量的尺度。
• 引入支撑文本向量作为代理，以在训练期间联合控制文本质量的位置与尺度。
• 该方法采用随机对称交叉熵损失，以学习文本质量的分布，从而提升与相关视频嵌入的对齐。
• 推理过程被重构为对每个查询采样多个随机文本嵌入，并为每个视频候选选择最接近的一个，从而提升检索精度。
• 模型通过采样随机文本点与视频嵌入之间的对比学习实现端到端训练。

实验结果

研究问题

• RQ1 将文本建模为随机分布而非单一点，是否能提升文本-视频检索性能？
• RQ2 如何根据文本-视频对的语义相似性自适应地确定文本质量的尺度？
• RQ3 何种训练策略能最佳正则化随机文本质量，避免偏差，同时提升对齐效果？
• RQ4 与使用单个嵌入相比，推理过程中充分利用完整文本质量对检索准确率有何影响？
• RQ5 所提出方法是否能在具有不同视频长度和字幕风格的多样化视频-文本数据集上实现泛化？

主要发现

• T-MASS 在包括 MSRVTT、LSMDC、DiDeMo、VATEX 和 Charades 在内的五个基准数据集上，相较于强基线模型，R@1 提升了 3% 至 6.3%。
• 使用随机嵌入时，无关文本-视频对之间的余弦相似度显著降低，表明嵌入空间中分离效果更好。
• 使用随机嵌入使相关对的交叉熵损失更低，反映出更高的相似度和更优的对齐效果。
• 最优的支撑文本正则化权重 α = 1.2 获得最佳检索性能，证明了对文本质量进行恰当控制的重要性。
• 该方法对输入视频帧数变化具有鲁棒性，在 T′ = 12 至 24 帧的 Charades 数据集上均保持一致的性能提升。
• 推理阶段采用 20 次采样试验可实现稳定且最优的性能，兼顾准确率与计算成本。