[论文解读] Where to Play: Retrieval of Video Segments using Natural-Language Queries

Sangkuk Lee, Daesik Kim+3 more|arXiv (Cornell University)|Jul 2, 2017

Multimodal Machine Learning Applications参考文献 4被引用 4

一句话总结

本文提出了一种新颖的视频检索方法，通过DenseCap模型从视频帧中生成自然语言描述，再跨帧追踪语义相似的描述，以定位与查询匹配的片段。该方法称为‘基于描述的追踪’（tracking by captioning），通过利用神经语言生成模型构建语义查询，相较于传统的基于概念的方法表现更优，在新构建的基于预告片的数据集上达到65.4%的mAP。

ABSTRACT

In this paper, we propose a new approach for retrieval of video segments using natural language queries. Unlike most previous approaches such as concept-based methods or rule-based structured models, the proposed method uses image captioning model to construct sentential queries for visual information. In detail, our approach exploits multiple captions generated by visual features in each image with `Densecap'. Then, the similarities between captions of adjacent images are calculated, which is used to track semantically similar captions over multiple frames. Besides introducing this novel idea of 'tracking by captioning', the proposed method is one of the first approaches that uses a language generation model learned by neural networks to construct semantic query describing the relations and properties of visual information. To evaluate the effectiveness of our approach, we have created a new evaluation dataset, which contains about 348 segments of scenes in 20 movie-trailers. Through quantitative and qualitative evaluation, we show that our method is effective for retrieval of video segments using natural language queries.

研究动机与目标

• 为解决使用自然语言查询检索特定视频片段的挑战，该挑战在传统基于概念或对象的方法中难以应对。
• 探究神经语言生成模型是否能有效构建捕捉视频内容中关系与属性的语义查询。
• 开发一种新的视频检索方法，通过基于描述相似性而非对象或概念追踪来保持帧间语义一致性。
• 在新构建的20部电影预告片中包含348个视频片段的数据集上评估该方法，以确保查询场景的真实性和多样性。

提出的方法

• 该方法使用DenseCap为每帧生成多个描述，捕捉图像中密集区域的多样化视觉描述。
• 通过预训练的skip-thought向量计算相邻帧描述之间的语义相似性，以识别随时间保持一致的语义视觉内容。
• 系统通过链接连续帧间语义相似度高的描述实现‘基于描述的追踪’，形成连续的时空轨迹。
• 生成的轨迹代表与输入自然语言查询匹配的候选视频片段，定位信息由DenseCap提供的边界框提供。
• 该方法利用skip-thought向量进行句子嵌入，并通过余弦相似度衡量描述之间的语义相关性。
• 端到端的流水线架构整合了描述生成、描述相似性计算与轨迹形成，实现端到端的视频片段检索。

实验结果

研究问题

• RQ1 像DenseCap这样的神经语言生成模型能否有效用于从视觉特征生成语义查询以实现视频检索？
• RQ2 基于描述相似性的追踪是否在使用自然语言查询检索视频片段方面优于传统的基于对象或概念的追踪方法？
• RQ3 描述之间的语义相似性能否在不依赖句法或结构解析的情况下捕捉复杂的视觉关系与行为（例如‘飞行’与‘栖息’）？
• RQ4 句子嵌入模型的选择（如skip-thought与word2vec）在mAP与召回率方面如何影响检索性能？

主要发现

• 所提方法在使用skip-thought向量时达到65.4%的平均平均精度（mAP），显著优于word2vec的54.9% mAP，证明了上下文相关句子嵌入的优越性。
• 当召回率被限制在≥0.5时，skip-thought向量的mAP达到32.3%，而word2vec为25.9%，证实了其在高精度检索中的更强鲁棒性。
• 该方法成功区分了词语相同但语义不同的句子，如‘the person rode the horse’与‘the horse rode the person’，因其skip-thought嵌入的余弦相似度低至0.68。
• 系统通过边界框对相关视频片段进行了定位，表明基于描述的追踪能够保持空间上下文，并实现对视觉内容的精确定位。
• 定性结果表明，该方法能够将同一对象的不同视觉状态（如‘the bird is flying’与‘a bird on the branches’）作为独立的相关片段检索出来。
• 该方法对每个真实标注片段生成多个候选轨迹，表明其具有强大的泛化能力与对查询中语义变化的敏感性，如补充视频演示所示。