[论文解读] Skimming, Locating, then Perusing: A Human-Like Framework for Natural Language Video Localization

Daizong Liu, Wei Hu|arXiv (Cornell University)|Jul 27, 2022

Multimodal Machine Learning Applications被引用 4

一句话总结

本文提出了一种类人框架——Skimming-Locating-Perusing（SLP），用于自然语言视频定位，通过先粗略浏览视频以定位最相关的帧，再双向逐帧细查以精炼动作片段边界，从而提升帧间可区分性与边界精确度。SLP在三个基准测试中优于最先进方法，实现了更高的定位准确率与更精确的边界检测。

ABSTRACT

This paper addresses the problem of natural language video localization (NLVL). Almost all existing works follow the "only look once" framework that exploits a single model to directly capture the complex cross- and self-modal relations among video-query pairs and retrieve the relevant segment. However, we argue that these methods have overlooked two indispensable characteristics of an ideal localization method: 1) Frame-differentiable: considering the imbalance of positive/negative video frames, it is effective to highlight positive frames and weaken negative ones during the localization. 2) Boundary-precise: to predict the exact segment boundary, the model should capture more fine-grained differences between consecutive frames since their variations are often smooth. To this end, inspired by how humans perceive and localize a segment, we propose a two-step human-like framework called Skimming-Locating-Perusing (SLP). SLP consists of a Skimming-and-Locating (SL) module and a Bi-directional Perusing (BP) module. The SL module first refers to the query semantic and selects the best matched frame from the video while filtering out irrelevant frames. Then, the BP module constructs an initial segment based on this frame, and dynamically updates it by exploring its adjacent frames until no frame shares the same activity semantic. Experimental results on three challenging benchmarks show that our SLP is superior to the state-of-the-art methods and localizes more precise segment boundaries.

研究动机与目标

• 为解决现有‘仅看一次’模型在自然语言视频定位（NLVL）中的局限性，这些模型无法有效区分正负帧，且缺乏边界精确的推理能力。
• 通过引入两阶段流程——浏览以定位最相关帧，细查以精炼片段边界——模拟人类感知机制。
• 通过强调连续帧之间的细粒度差异，并基于语义一致性动态更新片段，提升定位准确率。
• 通过采用顺序性、注意力驱动的定位策略，克服提案-排序与边界回归框架的低效与冗余问题。

提出的方法

• 浏览与定位（SL）模块利用查询条件注意力机制，通过对比查询语义与视频特征，识别最相关的帧，有效突出正样本帧并抑制负样本帧。
• 双向细查（BP）模块在SL模块输出的每个最高分帧周围初始化一个片段，并通过评估相邻帧的语义一致性，逐步扩展该片段。
• 可学习的选择性片段更新机制基于动态阈值策略整合新帧，替代简单的拼接或池化操作，实现更优的特征融合。
• BP模块同时向左右两个方向进行细查（‘左同时右’），确保边界精炼的鲁棒性，消融实验表明不同细查方向间性能无显著差异。
• 模型使用多模态相似度分数，结合语言与视觉嵌入，通过可学习参数 α₁ 和 α₂ 加权，以指导帧相关性评估。
• 阈值 Θ 控制片段扩展的停止时机，值越高表示语义一致性要求越严格；超参数消融实验表明 Θ=0.75 时性能最优。

实验结果

研究问题

• RQ1 相较于单步‘仅看一次’模型，两阶段类人定位策略是否能提升自然语言视频定位中的帧间可区分性与边界精确度？
• RQ2 是否浏览与定位阶段通过识别最相关帧，能通过过滤无关帧来提升定位准确率？
• RQ3 是否从中心帧出发的双向细查能通过捕捉连续帧间的细粒度差异，提升边界精确度？
• RQ4 所提框架对超参数（如最高帧数K、相似度权重α₁与α₂、片段扩展阈值Θ）的敏感度如何？
• RQ5 所提框架在不同细查方向（如先左后右 vs. 先右后左 vs. 左右同时）下是否具备鲁棒性？

主要发现

• 在ActivityNet Captions数据集上，SLP在IoU=0.5时达到52.89%的召回率，在IoU=0.7时达到32.04%，优于最先进方法。
• 当K=5时，模型在性能与计算成本之间取得最佳平衡；K=7仅带来微小性能提升，但GPU内存与时间成本显著增加。
• 语言与视觉相似度分数的最优加权为α₁=0.6，α₂=0.4，表明语言线索在帧匹配中略胜于视觉线索。
• 阈值Θ=0.75时性能最佳，且模型对超参数变化具有鲁棒性，在测试值范围内性能下降可忽略。
• 双向细查策略对方向不敏感，左-右、右-左与左同时右的细查方式间性能无显著差异，验证了框架的鲁棒性。
• 可视化结果表明，SL模块正确识别出真实标注片段内的帧为相关性得分最高的帧，证明了正样本帧定位的有效性。