[论文解读] T2VLAD: Global-Local Sequence Alignment for Text-Video Retrieval

Xiaohan Wang, Linchao Zhu+1 more|arXiv (Cornell University)|Apr 20, 2021

Multimodal Machine Learning Applications参考文献 42被引用 11

一句话总结

T2VLAD 通过利用共享语义中心联合编码文本和视频特征，提出了一种高效的整体-局部序列对齐方法，实现细粒度的局部对齐与互补的全局相似性度量，从而在 MSRVTT 上以无额外数据的情况下，相比 HowTo100M 预训练的 Transformer 模型，Rank@1 提升了 2.9%，达到当前最先进性能。

ABSTRACT

Text-video retrieval is a challenging task that aims to search relevant video contents based on natural language descriptions. The key to this problem is to measure text-video similarities in a joint embedding space. However, most existing methods only consider the global cross-modal similarity and overlook the local details. Some works incorporate the local comparisons through cross-modal local matching and reasoning. These complex operations introduce tremendous computation. In this paper, we design an efficient global-local alignment method. The multi-modal video sequences and text features are adaptively aggregated with a set of shared semantic centers. The local cross-modal similarities are computed between the video feature and text feature within the same center. This design enables the meticulous local comparison and reduces the computational cost of the interaction between each text-video pair. Moreover, a global alignment method is proposed to provide a global cross-modal measurement that is complementary to the local perspective. The global aggregated visual features also provide additional supervision, which is indispensable to the optimization of the learnable semantic centers. We achieve consistent improvements on three standard text-video retrieval benchmarks and outperform the state-of-the-art by a clear margin.

研究动机与目标

• 为解决现有方法仅关注全局跨模态相似性而忽略细粒度局部对齐的局限性。
• 通过用共享的可学习语义中心机制替代复杂的成对操作，降低局部匹配中的计算成本。
• 通过相互监督联合优化局部与全局对齐，提升跨模态检索性能。
• 自动学习文本与视频的联合语义主题，无需人工分层解析或复杂架构。

提出的方法

• T2VLAD 使用共享的 NetVLAD 层，通过一组可学习的语义中心，将文本和视频特征编码为局部表示。
• 文本和视频特征被软分配至相同的共享中心，实现在每个主题内的局部跨模态相似性计算。
• 通过最小化分配至同一语义中心的文本与视频特征之间的距离，实现局部对齐。
• 全局对齐通过计算全局聚合的文本与视频特征之间的相似性实现，提供互补的监督信号。
• 共享中心通过局部与全局损失目标的联合优化，提升语义对齐效果。
• 该方法避免了昂贵的图推理或多层 Transformer，支持高效的端到端训练。

实验结果

研究问题

• RQ1 共享语义中心是否能在无需复杂成对匹配的情况下，有效实现文本与视频之间的局部跨模态对齐？
• RQ2 与单独使用任一方式相比，结合局部与全局对齐是否能提升检索性能？
• RQ3 采用共享中心的协同编码策略是否能有效减小文本与视频模态之间的语义鸿沟？
• RQ4 在准确率与效率方面，所提出的 T2VLAD 方法相较于当前最先进模型表现如何？
• RQ5 该模型是否能在无需额外数据预训练的情况下，在多样化基准上实现良好泛化？

主要发现

• 在 MSRVTT 基准上，T2VLAD 在未使用任何额外数据的情况下，相比 HowTo100M 预训练的多模态 Transformer 模型，Rank@1 提升了 2.9%。
• 移除局部对齐分支会导致性能显著下降，当仅在推理时使用全局对齐时，Rank@1 下降 5.2%。
• 采用共享 VLAD 中心的模型优于使用独立中心或最大池化的版本，证明了中心共享在减小语义鸿沟方面的有效性。
• 消融研究证实，全局对齐对优化局部对齐至关重要，若训练过程中缺少全局对齐，将导致损失发散。
• 可视化结果表明，高分配中心与显著词（如 'guy'、'something'）在语义上对齐，验证了模型学习有意义局部主题的能力。
• 定性结果表明，T2VLAD 能通过对齐多个语义线索成功检索出真实视频，而缺乏局部对齐的模型则无法捕捉精确内容。