[论文解读] Spatio-Temporal Action Detection with Multi-Object Interaction

Huijuan Xu, Lizhi Yang+3 more|arXiv (Cornell University)|Apr 1, 2020

Human Pose and Action Recognition参考文献 43被引用 6

一句话总结

本文提出STAR模型，一种端到端的时空动作检测框架，通过同时进行空间和时间回归，在无需外部目标检测器的情况下，对动作管中的多对象交互进行定位。该方法在UCF101-24数据集上取得了具有竞争力的性能（mAP@0.5为53.0%），并引入了一个新的大规模数据集something-STAR，其标注包含多对象交互的动作管。

ABSTRACT

Spatio-temporal action detection in videos requires localizing the action both spatially and temporally in the form of an "action tube". Nowadays, most spatio-temporal action detection datasets (e.g. UCF101-24, AVA, DALY) are annotated with action tubes that contain a single person performing the action, thus the predominant action detection models simply employ a person detection and tracking pipeline for localization. However, when the action is defined as an interaction between multiple objects, such methods may fail since each bounding box in the action tube contains multiple objects instead of one person. In this paper, we study the spatio-temporal action detection problem with multi-object interaction. We introduce a new dataset that is annotated with action tubes containing multi-object interactions. Moreover, we propose an end-to-end spatio-temporal action detection model that performs both spatial and temporal regression simultaneously. Our spatial regression may enclose multiple objects participating in the action. During test time, we simply connect the regressed bounding boxes within the predicted temporal duration using a simple heuristic. We report the baseline results of our proposed model on this new dataset, and also show competitive results on the standard benchmark UCF101-24 using only RGB input.

研究动机与目标

• 解决现有时空动作检测方法局限于单人动作、在多对象交互场景下表现不佳的局限性。
• 不仅将动作定义为单个主体的运动，而是定义为多个对象之间的交互，要求更广泛的空间定位。
• 开发一种可同时回归空间和时间边界的模型，避免依赖外部检测器或复杂的后处理。
• 创建一个新的大规模数据集something-STAR，其动作管标注包含交互中涉及的所有主体和对象。
• 证明在推理阶段使用共享3D卷积和简单框连接的端到端回归方法，可在保持高精度的同时实现高速推理。

提出的方法

• STAR模型采用共享特征的3D卷积神经网络主干网络，以端到端方式联合回归空间动作框和时间跨度。
• 空间回归生成一个包围所有交互对象的单一边界框，而非单独的以人物为中心的边界框。
• 时间回归预测动作的起始和结束时间戳，实现无需滑动窗口或启发式连接的直接时间定位。
• 在推理阶段，模型通过简单的IoU基于启发式方法连接预测时间跨度内的回归空间框，避免复杂的优化过程。
• 模型仅使用RGB输入进行训练，利用3D卷积捕捉运动上下文，无需光流输入。
• 该架构高效且支持可变的空间和时间分辨率，在25 fps和176×176分辨率下性能最优。

实验结果

研究问题

• RQ1 如何有效将时空动作检测扩展到涉及多个交互对象的动作，而非仅限于单人动作？
• RQ2 统一的端到端模型是否能通过同时回归空间和时间边界，优于依赖独立目标检测与跟踪的流水线方法？
• RQ3 仅使用RGB输入与3D卷积相比两流模型使用光流，在检测精度和推理速度方面有何影响？
• RQ4 当应用于以人物为中心的动作时，所提模型在UCF101-24等标准基准上的性能与最先进方法相比如何？
• RQ5 在预测时间窗口内使用简单启发式方法连接空间框，是否可替代复杂后处理同时保持精度？

主要发现

• STAR模型仅使用RGB输入，在UCF101-24基准上实现了53.0%的视频mAP@0.5，证明其在无需光流或外部检测器的情况下仍具备强大性能。
• 该模型在单张TITAN X (Pascal)上实现了250 fps的推理速度，显著优于此前方法（通常低于40 fps）。
• 尽管模型未专门针对人物为中心的动作设计，但在UCF101-24上仍表现出具有竞争力的结果，表明其在标准基准上的强大泛化能力。
• 所提出的something-STAR数据集包含3207个视频，其中2293个用于训练，914个用于测试，标注了多对象交互动作管。
• 模型的帧mAP@0.5低于其视频mAP，表明其具备强大的时间定位能力，尽管帧级检测能力较弱。
• 消融实验表明，使用在something-something上微调的预训练分类主干网络，性能优于使用Sports-1M权重。