[论文解读] VLANet: Video-Language Alignment Network for Weakly-Supervised Video Moment Retrieval

Minuk Ma, Sunjae Yoon+4 more|arXiv (Cornell University)|Aug 24, 2020

Multimodal Machine Learning Applications参考文献 26被引用 12

一句话总结

VLANet 提出了一种弱监督视频瞬间检索框架，通过减少噪声提议并实现多方向跨模态注意力，提升了定位精度。它采用替代提议选择和细粒度查询表示的级联跨模态注意力机制，通过端到端对比学习在 Charades-STA 和 DiDeMo 上实现了最先进性能。

ABSTRACT

Video Moment Retrieval (VMR) is a task to localize the temporal moment in untrimmed video specified by natural language query. For VMR, several methods that require full supervision for training have been proposed. Unfortunately, acquiring a large number of training videos with labeled temporal boundaries for each query is a labor-intensive process. This paper explores methods for performing VMR in a weakly-supervised manner (wVMR): training is performed without temporal moment labels but only with the text query that describes a segment of the video. Existing methods on wVMR generate multi-scale proposals and apply query-guided attention mechanisms to highlight the most relevant proposal. To leverage the weak supervision, contrastive learning is used which predicts higher scores for the correct video-query pairs than for the incorrect pairs. It has been observed that a large number of candidate proposals, coarse query representation, and one-way attention mechanism lead to blurry attention maps which limit the localization performance. To handle this issue, Video-Language Alignment Network (VLANet) is proposed that learns sharper attention by pruning out spurious candidate proposals and applying a multi-directional attention mechanism with fine-grained query representation. The Surrogate Proposal Selection module selects a proposal based on the proximity to the query in the joint embedding space, and thus substantially reduces candidate proposals which leads to lower computation load and sharper attention. Next, the Cascaded Cross-modal Attention module considers dense feature interactions and multi-directional attention flow to learn the multi-modal alignment. VLANet is trained end-to-end using contrastive loss which enforces semantically similar videos and queries to gather. The experiments show that the method achieves state-of-the-art performance on Charades-STA and DiDeMo datasets.

研究动机与目标

• 为解决弱监督视频瞬间检索（wVMR）中因候选提议过多和查询表示粗糙导致的注意力模糊问题。
• 在无时间边界标注的情况下，提升视频片段与自然语言查询之间的多模态对齐能力。
• 通过在流水线早期选择高概率提议，降低计算成本并提升定位精度。
• 利用多方向注意力机制，建模视频与文本模态之间的双向、密集交互。
• 通过端到端对比学习，在基准数据集上实现最先进性能。

提出的方法

• 替代提议选择模块基于联合嵌入空间中与查询的相似性，从每个多尺度片段组中选择一个代表性提议，减少候选提议数量并提升注意力清晰度。
• 通过堆叠所有中间 GRU 隐藏状态获得细粒度查询表示，相比仅使用最终隐藏状态，能与视频特征实现更丰富的交互。
• 级联跨模态注意力（CCA）模块在每种模态内部（V2V 和 Q2Q）应用自注意力，随后进行多方向跨注意力（Q2V、V2Q 和加权 Q2V），以建模密集的双向特征交互。
• CCA 模块采用改进的自注意力机制和一系列跨注意力层，通过迭代对齐逐步优化特征表示。
• 端到端应用对比损失，以在联合嵌入空间中促使语义正样本对聚类，同时将负样本对推开。
• 模型通过对比学习进行端到端训练，无需时间边界标注，仅依赖文本查询的弱监督。

实验结果

研究问题

• RQ1 通过替代选择减少候选提议数量，是否能提升弱监督视频瞬间检索中的注意力清晰度和定位精度？
• RQ2 多方向跨模态注意力（包括模态间与模态内流）是否优于单向注意力，实现更优的视频与文本对齐？
• RQ3 结合中间 GRU 隐藏状态的细粒度查询表示，是否能增强模型定位相关视频片段的能力？
• RQ4 当仅提供弱监督（文本查询）时，对比学习在对齐视频与文本嵌入方面有多有效？
• RQ5 替代提议选择与级联交叉注意力在标准基准上的性能提升中分别起到了多大程度的贡献？

主要发现

• VLANet 在 Charades-STA 和 DiDeMo 数据集上均实现了最先进性能，优于先前的弱监督方法。
• 消融实验表明，移除替代提议选择模块导致性能下降最大，证实其在减少噪声和提升注意力质量方面具有关键作用。
• 级联跨模态注意力模块显著提升性能，其影响大于自注意力机制，表明多方向对齐的重要性。
• 训练过程中，正样本对的相似度分数提升至约 0.9，负样本对则保持在较低水平（约 0.15），证实了对比学习的有效性。
• 注意力图可视化显示，模型在与查询关键词对应的相关视频时刻上分配了高注意力权重，表明实现了成功的多模态对齐。
• 推理可视化结果表明，VLANet 能够正确地在真实世界视频片段中定位相关时刻，多个示例中最高预测结果与真实标注重叠。