[论文解读] What and When to Look?: Temporal Span Proposal Network for Video Visual Relation Detection.

Sangmin Woo, Junhyug Noh+1 more|arXiv (Cornell University)|Jul 15, 2021

Multimodal Machine Learning Applications参考文献 22被引用 4

一句话总结

本文提出时序跨度提议网络（TSPN），一种用于视频视觉关系检测的新方法，通过稀疏化关系搜索空间并利用完整视频上下文进行时序跨度和类别预测，同时识别对象对之间的 *什么* 关系及其 *何时* 发生。TSPN 在 ImageNet-VidVDR 和 VidOR 上实现最先进性能，且相比领先的基于片段的方法效率提升两倍。

ABSTRACT

Identifying relations between objects is central to understanding the scene. While several works have been proposed for relation modeling in the image domain, there have been many constraints in the video domain due to challenging dynamics of spatio-temporal interactions (e.g., Between which objects are there an interaction? When do relations occur and end?). To date, two representative methods have been proposed to tackle Video Visual Relation Detection (VidVRD): segment-based and window-based. We first point out the limitations these two methods have and propose Temporal Span Proposal Network (TSPN), a novel method with two advantages in terms of efficiency and effectiveness. 1) TSPN tells what to look: it sparsifies relation search space by scoring relationness (i.e., confidence score for the existence of a relation between pair of objects) of object pair. 2) TSPN tells when to look: it leverages the full video context to simultaneously predict the temporal span and categories of the entire relations. TSPN demonstrates its effectiveness by achieving new state-of-the-art by a significant margin on two VidVRD benchmarks (ImageNet-VidVDR and VidOR) while also showing lower time complexity than existing methods - in particular, twice as efficient as a popular segment-based approach.

研究动机与目标

• 为解决在复杂时空动态下识别 *哪些* 对象对发生交互以及 *何时* 发生的挑战。
• 克服现有基于片段和基于窗口的视频视觉关系检测（VidVRD）方法在效率和时序上下文建模不完整方面的局限。
• 提出统一框架，联合预测关系类别及其时序跨度，同时通过关系度评分机制减少搜索空间。
• 在 VidVRD 基准测试中，实现比先前最先进方法更高的准确率和更低的时间复杂度。

提出的方法

• TSPN 引入关系度评分机制，评估某对对象之间关系存在的置信度，从而稀疏化关系搜索空间。
• 利用完整视频上下文，在单次前向传播中同时预测每个检测到的关系的时序跨度（起始和结束时间戳）和类别。
• 模型采用双流架构编码空间和时序特征，实现对跨时间的对象交互的联合建模。
• 通过回归头预测时序跨度，相对于视频的时间范围预测起始和结束时间。
• 框架以端到端可微分方式集成目标检测与关系预测，支持联合优化。
• 关系度评分用于过滤低置信度的对象对，降低计算成本而不损失检测准确率。

实验结果

研究问题

• RQ1 如何在保持检测准确率的前提下，有效减少视频中关系的搜索空间？
• RQ2 在 VidVRD 中，利用完整视频上下文对时序跨度和关系类别预测有何影响？
• RQ3 统一框架能否比现有基于片段或基于窗口的方法更高效地联合预测关系内容与时序持续时间？
• RQ4 所提出的關係度评分机制在效率和有效性方面相比先前方法有多大提升？

主要发现

• TSPN 在 ImageNet-VidVDR 和 VidOR 基准测试中均取得新的最先进性能，显著优于先前方法。
• 与一种流行的基于片段的 VidVRD 方法相比，该方法实现两倍速度提升，表明其效率更优。
• 通过利用完整视频上下文，TSPN 提升了关系的时序定位准确率，实现对交互发生时间的精确预测。
• 关系度评分机制有效减少了候选关系数量，从而降低时间复杂度，同时不损害检测质量。