[论文解读] Where Does It Exist: Spatio-Temporal Video Grounding for Multi-Form Sentences

Zhu Zhang, Zhou Zhao+4 more|arXiv (Cornell University)|Jan 19, 2020

Multimodal Machine Learning Applications参考文献 48被引用 7

一句话总结

本文提出了时空视频定位多形式句子（STVG）这一新任务，旨在通过陈述句和疑问句精确地定位未剪辑视频中的物体轨迹。作者提出了一种时空图推理网络（STGRN），通过多步跨模态图推理过程建模隐式与显式的空间关系及时间动态，无需预生成轨迹，在新构建的大规模数据集VidSTG上实现了最先进性能，m_tIoU达到47.64%，m_vIoU达到18.96%。

ABSTRACT

In this paper, we consider a novel task, Spatio-Temporal Video Grounding for Multi-Form Sentences (STVG). Given an untrimmed video and a declarative/interrogative sentence depicting an object, STVG aims to localize the spatio-temporal tube of the queried object. STVG has two challenging settings: (1) We need to localize spatio-temporal object tubes from untrimmed videos, where the object may only exist in a very small segment of the video; (2) We deal with multi-form sentences, including the declarative sentences with explicit objects and interrogative sentences with unknown objects. Existing methods cannot tackle the STVG task due to the ineffective tube pre-generation and the lack of object relationship modeling. Thus, we then propose a novel Spatio-Temporal Graph Reasoning Network (STGRN) for this task. First, we build a spatio-temporal region graph to capture the region relationships with temporal object dynamics, which involves the implicit and explicit spatial subgraphs in each frame and the temporal dynamic subgraph across frames. We then incorporate textual clues into the graph and develop the multi-step cross-modal graph reasoning. Next, we introduce a spatio-temporal localizer with a dynamic selection method to directly retrieve the spatio-temporal tubes without tube pre-generation. Moreover, we contribute a large-scale video grounding dataset VidSTG based on video relation dataset VidOR. The extensive experiments demonstrate the effectiveness of our method.

研究动机与目标

• 解决在未剪辑视频中定位时空物体轨迹的挑战，其中物体仅短暂出现且难以区分。
• 支持对陈述句（含明确对象）和疑问句（含未知对象）的定位，需进行关系推理。
• 克服现有方法依赖轨迹预生成且缺乏对物体关系与时间动态建模的局限性。
• 提出统一框架，直接检索轨迹而无需预生成候选，提升鲁棒性与准确性。
• 贡献一个基于VidOR构建的大规模基准数据集VidSTG，以支持多形式句子定位研究。

提出的方法

• 构建一个时空区域图，包含每帧内的隐式与显式空间子图，以及跨帧的时间动态子图，以建模物体运动与交互。
• 通过跨模态融合将文本线索整合到图中，支持视觉与语言表征的多步推理。
• 执行多步跨模态图推理，通过图中特征传播建模高阶关系（如“一个男人抱着一个戴着红色帽子的婴儿”）。
• 设计一个时空定位器，配备动态选择机制，直接预测最相关的时空轨迹，无需依赖预生成候选。
• 采用具有可学习层数的图卷积网络（T=2为最优），在关系建模与特征平滑之间取得平衡，避免过多层数导致的过平滑。
• 在轨迹选择中应用动态平滑策略，相比贪婪选择方法性能更优。

实验结果

研究问题

• RQ1 基于图的方法能否有效建模未剪辑视频中的空间关系与时间动态，以实现精确的时空定位？
• RQ2 多步跨模态推理在定位含未知对象的疑问句时，如何提升定位性能？
• RQ3 消除轨迹预生成在长时未剪辑视频中对定位准确率的提升程度如何？
• RQ4 时空图中隐式与显式空间子图及时间子图对整体性能的贡献分别是什么？
• RQ5 图卷积网络层数的多少如何影响模型捕捉复杂物体关系与动态的能力？

主要发现

• 完整STGRN模型在VidSTG数据集上达到47.64%的m_tIoU与18.96%的m_vIoU，优于所有基线模型，涵盖陈述句与疑问句。
• 消融实验确认所有组件——隐式空间、显式空间与时间动态子图——均不可或缺，其中显式空间子图贡献最大。
• 包含显式与时间子图的模型（G_exp + G_tem）达到47.12%的m_tIoU与18.28%的m_vIoU，证明时空建模的关键作用。
• 最优图卷积层数为T=2，更深网络导致特征过平滑与性能下降。
• 动态选择方法优于贪婪选择，m_tIoU提升0.92%，m_vIoU提升0.68%，证明其在轨迹质量控制中的有效性。
• 定性结果表明注意力权重与语义区域及词语高度对齐，证实模型能有效关注相关视觉-语言线索。