[论文解读] Spatio-temporal Person Retrieval via Natural Language Queries

Masataka Yamaguchi, Kuniaki Saito+2 more|arXiv (Cornell University)|Apr 26, 2017

Human Pose and Action Recognition参考文献 38被引用 7

一句话总结

本文提出了一种时空人员检索系统，通过自然语言查询在多段视频中定位特定人员，输出结果为一个管状结构（一系列边界框序列）。该研究构建了一个新数据集，包含13.7小时视频、62,627个边界框和30,365条描述，并提出一种结合时空检测与多模态嵌入的模型，在性能和泛化能力方面表现出色，可应用于片段检索与动作检测等任务。

ABSTRACT

In this paper, we address the problem of spatio-temporal person retrieval from multiple videos using a natural language query, in which we output a tube (i.e., a sequence of bounding boxes) which encloses the person described by the query. For this problem, we introduce a novel dataset consisting of videos containing people annotated with bounding boxes for each second and with five natural language descriptions. To retrieve the tube of the person described by a given natural language query, we design a model that combines methods for spatio-temporal human detection and multimodal retrieval. We conduct comprehensive experiments to compare a variety of tube and text representations and multimodal retrieval methods, and present a strong baseline in this task as well as demonstrate the efficacy of our tube representation and multimodal feature embedding technique. Finally, we demonstrate the versatility of our model by applying it to two other important tasks.

研究动机与目标

• 解决仅通过自然语言描述在多段视频中检索特定人员的挑战，无需参考图像。
• 开发一种输出管状结构（表示所描述人员时空轨迹的一系列边界框）的系统。
• 构建一个大规模、多样化的数据集，包含密集的时间标注与自然语言描述，用于评估该任务。
• 通过多模态特征嵌入与管状结构表示，建立时空人员检索的强基线模型。
• 通过将其应用于片段检索与时空动作检测等相关任务，证明模型的通用性。

提出的方法

• 模型首先使用基于CNN的时空人体检测方法生成候选管状结构。
• 通过从视频帧中提取的外观、运动以及时空特征组合来表示管状结构。
• 使用深度神经网络对文本查询进行编码，生成上下文嵌入。
• 采用多模态特征嵌入技术，将管状结构与文本表示对齐于共享嵌入空间以实现检索。
• 通过学习的相关性函数计算查询与管状结构之间的匹配分数，并检索Top-K个管状结构。
• 在片段检索与动作检测任务中，模型使用片段内管状结构级别的最大得分作为片段级别的匹配得分。

实验结果

研究问题

• RQ1 深度学习模型是否能仅通过自然语言描述有效实现跨多段视频的人员检索？
• RQ2 不同的管状结构与文本表示如何影响在时空人员检索任务中的检索性能？
• RQ3 所提出的多模态特征嵌入技术是否能提升文本查询与人员管状结构之间的跨模态对齐效果？
• RQ4 在某一数据集上训练的模型是否能泛化到其他视频理解任务，如片段检索与动作检测？
• RQ5 与强基线方法相比，所提方法在新数据集上的性能如何？

主要发现

• 在片段检索任务中，所提方法取得了R@1为0.415，优于基线方法（0.373），证明其在片段级别检索中的有效性。
• 该模型在时空人员检索任务中达到最先进性能，通过全面的消融实验建立了强有力的基线。
• 该模型在未进行微调的情况下，成功检测到UCF Sports数据集中的动作实例（如“Running”和“Lifting”），展现出强大的零样本泛化能力。
• 与替代配置相比，使用管状结构表示与多模态特征嵌入显著提升了检索准确率。
• 在ActivityNet衍生数据集上的定性结果表明，该模型在多样化动作与环境下的性能表现稳健。
• 该模型的架构可直接应用于相关任务，证实其在主要检索任务之外的通用性。