[论文解读] STAGE: Spatio-Temporal Attention on Graph Entities for Video Action Detection.

Matteo Tomei, Lorenzo Baraldi+3 more|arXiv (Cornell University)|Dec 9, 2019

Human Pose and Action Recognition参考文献 31被引用 6

一句话总结

本文提出 STAGE，一种与主干网络无关的视频动作检测模块，通过在连续视频片段之间使用基于图的自注意力机制来建模动作与物体之间的时空交互。通过图注意力机制学习动态关系，STAGE 在 AVA 数据集上实现了相对于基线模型 10-16% 的相对 mAP 提升，且无需端到端训练或多 GPU 同步。

ABSTRACT

Spatio-temporal action localization is a challenging yet fascinating task that aims to detect and classify human actions in video clips. In this paper, we develop a high-level video understanding module which can encode interactions between actors and objects both in space and time. In our formulation, spatio-temporal relationships are learned by performing self-attention operations on a graph structure connecting entities from consecutive clips. Noticeably, the use of graph learning is unprecedented for this task. From a computational point of view, the proposed module is backbone independent by design and does not need end-to-end training. When tested on the AVA dataset, it demonstrates a 10-16% relative mAP improvement over the baseline. Further, it can outperform or bring performances comparable to state-of-the-art models which require heavy end-to-end and synchronized training on multiple GPUs. Code is publicly available at: this https URL.

研究动机与目标

• 解决在视频动作检测中建模动作与物体之间复杂时空交互的挑战。
• 克服现有方法在捕捉空间与时间维度上动态、长距离依赖关系方面的局限性。
• 设计一种与视频主干网络架构无关的模块，避免昂贵的端到端训练。
• 在极低训练开销和计算成本下实现最先进性能。
• 通过在连续片段间对实体交互进行图结构建模，实现有效的视频理解。

提出的方法

• 构建一个动态图结构，连接连续视频片段中检测到的实体（动作与物体）。
• 在图上应用自注意力机制，以建模实体之间的时空关系。
• 使用基于图的注意力机制，动态加权空间与时间维度上交互的重要性。
• 设计模块使其独立于视频主干网络，实现即插即用的集成。
• 将模块与主干网络分开训练，避免端到端优化。
• 通过连接相邻片段中的实体，利用时间连续性来捕捉运动与交互的演化过程。

实验结果

研究问题

• RQ1 基于图的自注意力能否有效建模视频动作检测中动作与物体之间的时空交互？
• RQ2 所提出的 STAGE 模块在准确率与训练效率方面与端到端训练的最先进模型相比如何？
• RQ3 一种与主干无关的模块在无需同步多 GPU 训练的情况下，能在多大程度上提升 mAP？
• RQ4 与单帧方法相比，在连续片段上建模交互是否能提升动作定位性能？
• RQ5 在图结构上应用注意力机制是否能比传统方法更有效地捕捉视频动作中的长距离依赖？

主要发现

• STAGE 在 AVA 数据集上相对于基线模型实现了 10-16% 的相对 mAP 提升。
• 该模型在性能上优于或匹配依赖于复杂端到端训练的最先进模型。
• 由于其与端到端训练和主干架构的独立性，该方法计算效率高。
• 基于图的注意力机制成功捕捉了动作与物体之间的动态时空关系。
• 该模块通过兼容多种视频主干网络且无需微调，展现出强大的泛化能力。
• 性能提升归因于通过图注意力机制对时空维度上交互关系的有效建模。