[论文解读] Visual Spatio-temporal Relation-enhanced Network for Cross-modal Text-Video Retrieval

Ning Han, Jingjing Chen+4 more|arXiv (Cornell University)|Oct 29, 2021

Multimodal Machine Learning Applications参考文献 37被引用 4

一句话总结

本文提出VSR-Net，一种用于跨模态文本-视频检索的视觉时空关系增强网络，通过多层时空变换器建模视觉组件之间的空间与时间关系，提升视频表征能力。该方法通过关系信息增强全局视频特征，并在两个独立的嵌入空间中将其与文本嵌入对齐，在MSR-VTT和MSVD数据集上实现了最先进性能。

ABSTRACT

The task of cross-modal retrieval between texts and videos aims to understand the correspondence between vision and language. Existing studies follow a trend of measuring text-video similarity on the basis of textual and video embeddings. In common practice, video representation is constructed by feeding video frames into 2D/3D-CNN for global visual feature extraction or only learning simple semantic relations by using local-level fine-grained frame regions via graph convolutional network. However, these video representations do not fully exploit spatio-temporal relation among visual components in learning video representations, resulting in their inability to distinguish videos with the same visual components but with different relations. To solve this problem, we propose a Visual Spatio-Temporal Relation-Enhanced Network (VSR-Net), a novel cross-modal retrieval framework that considers the spatial-temporal visual relations among components to enhance global video representation in bridging text-video modalities. Specifically, visual spatio-temporal relations are encoded using a multi-layer spatio-temporal transformer to learn visual relational features. We align the global visual and fine-grained relational features with the text feature on two embedding spaces for cross-modal text-video retrieval. Extensive experimental are conducted on both MSR-VTT and MSVD datasets. The results demonstrate the effectiveness of our proposed model. We will release the code to facilitate future researches.

研究动机与目标

• 为解决现有跨模态检索方法在捕捉视频中视觉组件之间复杂时空关系方面的局限性。
• 通过显式建模视觉区域之间的空间与时间关系，超越全局特征或简单局部关系，以改善视频表征。
• 通过在两个不同嵌入空间中融合全局视觉特征与细粒度关系特征，增强文本与视频之间的跨模态对齐。
• 通过利用能区分具有相同组件但不同空间-时间排列的视频的结构化视觉关系，实现更优的文本-视频检索性能。

提出的方法

• 使用多层时空变换器对视频帧局部区域之间的视觉时空关系进行编码，捕捉跨空间与时间的长距离依赖关系。
• 通过关注跨视频帧在空间和时间上相关的视觉组件，模型学习视觉关系特征。
• 通过2D/3D-CNN提取全局视觉嵌入，同时从时空变换器中提取关系特征以丰富表征。
• 使用两个独立的嵌入空间：一个用于对齐全局视觉特征与文本，另一个用于对齐细粒度关系特征与文本。
• 通过在两个空间中计算文本与视频嵌入之间的相似度得分，随后进行特征融合，完成跨模态检索。
• 采用对比损失端到端训练框架，以优化文本-视频对齐。

实验结果

研究问题

• RQ1 建模视觉组件之间的时空关系是否能提升跨模态检索中的视频表征？
• RQ2 将关系特征与全局视频特征结合，对文本-视频检索性能有何影响？
• RQ3 与标准2D/3D-CNN或图神经网络方法相比，多层时空变换器是否能实现对视觉组件交互关系的更好建模？
• RQ4 在全局特征与关系特征上采用双嵌入空间对齐，是否能优于单空间对齐？
• RQ5 VSR-Net在MSR-VTT和MSVD等标准基准上的多样化视频理解任务中是否具备良好的泛化能力？

主要发现

• VSR-Net在MSR-VTT和MSVD数据集上均达到最先进性能，展现出卓越的检索准确率。
• 时空关系特征的融合显著提升了视频表征能力，使模型能更好地区分具有相似视觉组件但不同空间-时间排列的视频。
• 多层时空变换器有效捕捉了帧与视觉区域之间的长距离依赖关系，增强了特征表达能力。
• 全局特征与关系特征在双嵌入空间中的对齐，相比单空间对齐，能实现更鲁棒的跨模态匹配。
• 该模型在多样化视频描述任务中泛化能力良好，在检索指标和零样本迁移设置下均持续优于基线方法。