[论文解读] TS2-Net: Token Shift and Selection Transformer for Text-Video Retrieval

Yuqi Liu, Pengfei Xiong+3 more|arXiv (Cornell University)|Jul 16, 2022

Multimodal Machine Learning Applications被引用 9

一句话总结

TS2-Net 提出了一种基于 Transformer 的新型视频编码器，包含标记偏移与选择模块，以增强文本-视频检索任务中的细粒度时空表征。通过在帧与空间块之间动态偏移并选择信息量丰富的标记，该方法提升了对细微动作与小物体的建模能力，在 MSRVTT、VATEX、LSMDC、ActivityNet 和 DiDeMo 数据集上均取得了最先进性能。

ABSTRACT

Text-Video retrieval is a task of great practical value and has received increasing attention, among which learning spatial-temporal video representation is one of the research hotspots. The video encoders in the state-of-the-art video retrieval models usually directly adopt the pre-trained vision backbones with the network structure fixed, they therefore can not be further improved to produce the fine-grained spatial-temporal video representation. In this paper, we propose Token Shift and Selection Network (TS2-Net), a novel token shift and selection transformer architecture, which dynamically adjusts the token sequence and selects informative tokens in both temporal and spatial dimensions from input video samples. The token shift module temporally shifts the whole token features back-and-forth across adjacent frames, to preserve the complete token representation and capture subtle movements. Then the token selection module selects tokens that contribute most to local spatial semantics. Based on thorough experiments, the proposed TS2-Net achieves state-of-the-art performance on major text-video retrieval benchmarks, including new records on MSRVTT, VATEX, LSMDC, ActivityNet, and DiDeMo.

研究动机与目标

• 为解决现有视频编码器在捕捉细微时空细节（如细微动作与小物体）方面的局限性。
• 通过实现时间与空间维度上对视频标记的动态自适应处理，提升文本-视频检索中的视频表征能力。
• 设计一种无需依赖固定架构或预训练主干网络的视频编码器，以增强局部语义表征。
• 在包括 MSRVTT、VATEX、LSMDC、ActivityNet 和 DiDeMo 在内的多个基准上实现最先进性能。

提出的方法

• 引入标记偏移模块，通过在相邻帧之间交换完整空间标记特征，以保留完整表征并捕捉局部运动。
• 采用标记选择模块，基于与 [CLS] 标记的相关性及时空上下文，识别并保留最具有信息量的 top-K 标记。
• 使用可学习的选择网络来估计标记重要性，聚焦于局部空间语义与显著视觉实体。
• 应用逐帧相似度聚合，实现在细粒度层面的文本与视频表征对齐。
• 通过视频-语言对比学习优化模型，将文本与视频嵌入对齐至共享表征空间。
• 对标准 Transformer 架构进行改进，以支持动态标记操作，同时保持序列完整性。

实验结果

研究问题

• RQ1 在帧之间动态调整标记是否能提升对视频表征中细微时间运动的建模能力？
• RQ2 对时空标记实施选择性注意力是否能增强在文本-视频检索中对小物体或显著视觉对象的识别能力？
• RQ3 结合标记偏移与选择是否能在多样化的文本-视频检索基准上实现一致的性能提升？
• RQ4 TS2-Net 与 CLIP4Clip 和 QB-Norm 等强基线模型相比，在处理细粒度视觉与运动线索方面表现如何？
• RQ5 所提方法在视觉复杂度与查询类型各异的数据集上具有多大程度的泛化能力？

主要发现

• TS2-Net 在 MSRVTT、VATEX、LSMDC、ActivityNet-Caption 和 DiDeMo 上均取得新的最先进性能，其中在 VATEX 上 R@1 提升达 1.5%，在 LSMDC 上 MeanR 提升达 1.5%。
• 在 MSR-VTT 的一个具有挑战性的子集（103 个强调小物体与细微动作的查询）上，TS2-Net 达到 79.6 的 R@1，显著优于 CLIP4Clip 的 39.8。
• 消融实验表明，标记偏移与标记选择模块各自独立提升检索准确率，验证了其独立贡献的有效性。
• 即使在推理阶段未使用反向 Softmax，TS2-Net 在 VATEX 和 LSMDC 上仍优于 QB-Norm，表明其具备更强的内在表征学习能力。
• 定性结果表明，该模型能正确检索出包含小物体（如 'microphone'）和细微动作（如 'talking' 或 'hand rubbing'）的视频。
• 该模型在多样化数据集上展现出强大的泛化能力，包括具有复杂描述与长视频的场景。