[论文解读] Span-based Localizing Network for Natural Language Video Localization

Hao Zhang, Aixin Sun+2 more|arXiv (Cornell University)|Apr 29, 2020

Multimodal Machine Learning Applications参考文献 52被引用 15

一句话总结

该论文提出VSLNet，一种基于跨度的自然语言视频定位问答框架，将视频视为文本段落，并通过查询引导突出（QGH）策略定位与查询相关的视频跨度。通过聚焦于动态突出的视频区域进行搜索，VSLNet在三个基准数据集上超越了先前方法，证明了基于跨度的问答在NLVL中是一种极为有效的方法。

ABSTRACT

Given an untrimmed video and a text query, natural language video localization (NLVL) is to locate a matching span from the video that semantically corresponds to the query. Existing solutions formulate NLVL either as a ranking task and apply multimodal matching architecture, or as a regression task to directly regress the target video span. In this work, we address NLVL task with a span-based QA approach by treating the input video as text passage. We propose a video span localizing network (VSLNet), on top of the standard span-based QA framework, to address NLVL. The proposed VSLNet tackles the differences between NLVL and span-based QA through a simple yet effective query-guided highlighting (QGH) strategy. The QGH guides VSLNet to search for matching video span within a highlighted region. Through extensive experiments on three benchmark datasets, we show that the proposed VSLNet outperforms the state-of-the-art methods; and adopting span-based QA framework is a promising direction to solve NLVL.

研究动机与目标

• 填补将基于跨度的问答方法应用于自然语言视频定位（NLVL）的空白，该任务传统上采用排序或回归方法。
• 克服文本问答与视频定位之间的两个关键差异：视频的时序连续性以及人类对小帧偏移的容忍度。
• 通过引导模型在上下文相关、基于查询的视频区域内搜索，提升定位精度。
• 证明：在查询引导突出策略增强下，简单的基于跨度的问答框架可超越复杂的多模态匹配或回归架构。

提出的方法

• 通过将视频视为段落、目标时刻视为答案跨度，将标准的基于跨度的问答框架适配至NLVL任务。
• 提出查询引导突出（QGH），利用查询-视频交互得分在目标时刻周围生成粗粒度前景区域。
• 使用可学习注意力机制计算查询与每帧视频的相关性得分，形成突出区域 $ S_h $。
• 将跨度预测限制在突出区域内，以提升定位精度并缩小搜索空间。
• 使用交叉熵损失对起始和结束边界预测进行端到端训练。
• 应用由超参数 $ \alpha $ 控制的动态区域扩展策略，实现对突出区域大小的灵活控制。

实验结果

研究问题

• RQ1 基于跨度的问答框架能否被有效适配至自然语言视频定位任务？
• RQ2 视频内容的连续性和因果性如何影响标准基于跨度的问答模型性能？
• RQ3 将搜索空间限制在基于查询的突出区域内，能在多大程度上提升定位精度？
• RQ4 在保留上下文与提升定位精度之间，突出区域的最优大小是什么？
• RQ5 与传统的多模态匹配或回归方法相比，QGH策略在鲁棒性和效率方面表现如何？

主要发现

• VSLNet在三个基准数据集（Charades-STA、ActivityNet-STA和MS-VD）上均达到最先进性能，超越现有方法。
• 所提出的VSLNet模型在Charades-STA上达到平均mIoU 55.7，在ActivityNet-STA上为40.2，在MS-VD上为42.1，优于先前最先进方法。
• 查询引导突出（QGH）在所有 $ \alpha $ 取值下均持续提升性能，最优表现出现在 $ \alpha \in [0.05, 0.2] $，表明狭窄但有效的突出区域更优。
• 与VSLBase相比，VSLNet减少了对时刻长度的过度预测倾向，更多预测落在更短的长度误差范围内。
• 定性分析显示，VSLNet的预测与真实边界对齐更紧密，且被限制在突出区域内。
• 失败案例表明，当存在多个动作且某一动作被赋予更高置信度时，QGH可能错误预测时刻的起始点。