[论文解读] VLG-Net: Video-Language Graph Matching Network for Video Grounding

Mattia Soldan, Mengmeng Xu+3 more|arXiv (Cornell University)|Nov 19, 2020

Multimodal Machine Learning Applications参考文献 73被引用 5

一句话总结

VLG-Net 提出了一种视频-语言图匹配网络，通过将视频和语言建模为图结构，利用图卷积网络和跨模态图匹配机制捕捉模态内与模态间关系，从而提升时序定位性能。该方法在 ActivityNet-Captions、TACoS 和 DiDeMo 数据集上均达到最先进性能，其中在 ActivityNet-Captions 上达到 33.35% 的 R@1 IoU0.5，在 DiDeMo 上达到 88.86% 的 R@1 IoU1.0。

ABSTRACT

Grounding language queries in videos aims at identifying the time interval (or moment) semantically relevant to a language query. The solution to this challenging task demands understanding videos' and queries' semantic content and the fine-grained reasoning about their multi-modal interactions. Our key idea is to recast this challenge into an algorithmic graph matching problem. Fueled by recent advances in Graph Neural Networks, we propose to leverage Graph Convolutional Networks to model video and textual information as well as their semantic alignment. To enable the mutual exchange of information across the modalities, we design a novel Video-Language Graph Matching Network (VLG-Net) to match video and query graphs. Core ingredients include representation graphs built atop video snippets and query tokens separately and used to model intra-modality relationships. A Graph Matching layer is adopted for cross-modal context modeling and multi-modal fusion. Finally, moment candidates are created using masked moment attention pooling by fusing the moment's enriched snippet features. We demonstrate superior performance over state-of-the-art grounding methods on three widely used datasets for temporal localization of moments in videos with language queries: ActivityNet-Captions, TACoS, and DiDeMo.

研究动机与目标

• 解决时序定位中细粒度视频-语言对齐的挑战，即需将语言查询与精确的视频时刻进行匹配。
• 通过引入视频片段与查询词元之间的非局部语义关系，克服局部上下文建模的局限性。
• 通过可学习的图匹配机制替代启发式操作，改进多模态融合，以建模片段与词元之间的交互关系。
• 通过视频与语言模态的图结构建模，实现上下文感知表示的端到端学习。
• 通过在基于图的框架中统一上下文建模、对齐与融合，实现在标准视频定位基准上的卓越性能。

提出的方法

• 构建一个视频图，其中每个视频片段作为节点，通过排序边（时间邻近性）和语义边（非局部相似性）连接，以建模视频内部上下文。
• 构建一个语言图，其中每个词元作为节点，通过句法依存边连接，以建模语言结构与查询内部上下文。
• 应用图卷积网络（GCNs）在每个模态特定的图中传播并增强表示，以捕捉局部与非局部关系。
• 引入基于跨图注意力的匹配层，学习视频片段与语言词元之间的动态可学习边，以实现细粒度对齐。
• 使用掩码时刻注意力池化层融合增强后的片段特征，并基于对齐的图表示生成时刻候选。
• 使用三元组损失目标端到端训练模型，以在多个 IoU 阈值下优化定位准确率。

实验结果

研究问题

• RQ1 基于图的模态内关系建模（视频片段与语言词元）是否能提升视频定位的上下文表征？
• RQ2 视频与语言图之间的可学习图匹配机制是否优于传统的融合操作（如拼接或哈达玛积）？
• RQ3 与仅依赖局部时间上下文相比，引入视频片段之间的非局部语义关系如何影响定位性能？
• RQ4 与现有方法相比，所提出的图匹配模块在多模态融合与时刻定位准确率方面提升了多少？
• RQ5 该模型能否在语言复杂度与视频时长各异的数据集（如 ActivityNet-Captions、TACoS 和 DiDeMo）上实现良好泛化？

主要发现

• 在 ActivityNet-Captions 上，VLG-Net 达到 33.35% 的 R@1 IoU0.5，较之前最先进方法 ROLE 提升 3.95 个百分点。
• 在 DiDeMo 上，VLG-Net 达到 88.86% 的 R@1 IoU1.0，为所有报告方法中的最高值，表明其在严格定位标准下的优异表现。
• 消融实验表明，若移除非局部上下文建模（VLG-Net NC），R@1 IoU0.5 降至 25.37%，凸显非局部关系的重要性。
• 若将图匹配模块替换为在片段级别使用哈达玛积（VLG-Net HM），R@1 IoU0.5 降至 30.94%，证明所提融合机制的优越性。
• 完整图匹配模块（VLG-Net）在 ActivityNet-Captions 上实现 56.56% 的 R@5 IoU0.5，优于所有消融变体与现有方法。
• 定性结果表明，VLG-Net 有时能预测比真实标注更语义连贯的时刻边界，例如将完整视频与描述连续场景的查询对齐。