[论文解读] Relation-aware Video Reading Comprehension for Temporal Language Grounding

Jialin Gao, Sun Xin+3 more|arXiv (Cornell University)|Oct 12, 2021

Multimodal Machine Learning Applications参考文献 41被引用 5

一句话总结

该论文提出了一种关系感知网络（RaNet）用于时序语言定位，通过将问题建模为视频阅读理解任务，利用查询与视频片段候选之间的粗粒度与细粒度跨模态交互，并使用图卷积网络建模候选间的关系。RaNet在TACoS数据集上实现了最先进性能，相较于先前方法将平均平均精度提升了33.54%。

ABSTRACT

Temporal language grounding in videos aims to localize the temporal span relevant to the given query sentence. Previous methods treat it either as a boundary regression task or a span extraction task. This paper will formulate temporal language grounding into video reading comprehension and propose a Relation-aware Network (RaNet) to address it. This framework aims to select a video moment choice from the predefined answer set with the aid of coarse-and-fine choice-query interaction and choice-choice relation construction. A choice-query interactor is proposed to match the visual and textual information simultaneously in sentence-moment and token-moment levels, leading to a coarse-and-fine cross-modal interaction. Moreover, a novel multi-choice relation constructor is introduced by leveraging graph convolution to capture the dependencies among video moment choices for the best choice selection. Extensive experiments on ActivityNet-Captions, TACoS, and Charades-STA demonstrate the effectiveness of our solution. Codes have been available.

研究动机与目标

• 为解决在时序语言定位中区分视觉上相似的视频片段候选所面临的挑战。
• 通过细粒度的标记级与句子级交互，提升查询与视频片段之间的跨模态对齐。
• 通过建模多个片段候选之间的语义与时间依赖关系，提升候选排序性能。
• 开发一种高效轻量的架构，在标准基准上超越现有方法。

提出的方法

• 将时序语言定位建模为视频阅读理解任务，其中包含篇章（视频）、问题（查询）和多个选项（候选片段）。
• 引入一种候选-查询交互模块，在句子-片段与标记-片段两个层级上执行粗粒度与细粒度的跨模态交互。
• 基于图卷积网络（GCN）构建多候选关系构造器，用于建模候选片段表示之间的依赖关系。
• 采用稀疏连接的图注意力机制，以减少浮点运算次数（FLOPs），高效捕捉全局片段间关系。
• 集成预训练词嵌入（如BERT）以提升文本表征，并通过拼接操作实现初始特征融合。
• 使用排序器根据联合视觉-文本特征与关系特征，从候选集合中选择最匹配的片段。

实验结果

研究问题

• RQ1 建模句子级与标记级交互是否能提升时序定位中的视觉-语言对齐？
• RQ2 在模糊场景中，捕捉候选片段之间的相互关系是否能提升排序性能？
• RQ3 将时序定位建模为视频阅读理解是否能带来更好的泛化能力与性能表现？
• RQ4 与卷积或自注意力机制相比，基于图的关系建模在准确率与效率方面表现如何？

主要发现

• RaNet在TACoS数据集上实现了Rank 1@0.5得分为33.54%，相较于之前最先进方法2D-TAN提升了33.54%。
• 该模型在三个基准数据集上均优于最先进方法：ActivityNet-Captions、TACoS与Charades-STA，表现出一致的性能提升。
• 使用BERT嵌入可获得最佳性能（在TACoS上Rank 1@0.1达到57.34%），证实了上下文感知文本特征的重要性。
• RaNet显著优于2D-TAN，参数量仅12.8M，FLOPs为43.92G（ActivityNet数据集），而2D-TAN参数量为91.59M，FLOPs高达997.30G。
• 消融实验表明，粗粒度与细粒度交互模块以及关系构造器模块均对性能至关重要，移除任一模块均导致准确率显著下降。
• 定性结果表明，RaNet的预测结果比基线方法更接近真实标注，尤其在视觉相似候选片段场景下表现更优。