[论文解读] STEP: Spatio-Temporal Progressive Learning for Video Action Detection

Xitong Yang, Xiaodong Yang+4 more|arXiv (Cornell University)|Apr 19, 2019

Human Pose and Action Recognition参考文献 35被引用 4

一句话总结

本文提出STEP，一种用于视频动作检测的时空渐进式学习框架，通过空间优化和自适应时间扩展，迭代地改进少量初始提议。通过逐步提升定位精度并引入更长范围的上下文信息，STEP在UCF101上实现了75.0%的mAP，在AVA上实现了18.6%的mAP，分别仅使用11个和34个初始提议，同时在单张GPU上以21 fps的速度运行。

ABSTRACT

In this paper, we propose Spatio-TEmporal Progressive (STEP) action detector---a progressive learning framework for spatio-temporal action detection in videos. Starting from a handful of coarse-scale proposal cuboids, our approach progressively refines the proposals towards actions over a few steps. In this way, high-quality proposals (i.e., adhere to action movements) can be gradually obtained at later steps by leveraging the regression outputs from previous steps. At each step, we adaptively extend the proposals in time to incorporate more related temporal context. Compared to the prior work that performs action detection in one run, our progressive learning framework is able to naturally handle the spatial displacement within action tubes and therefore provides a more effective way for spatio-temporal modeling. We extensively evaluate our approach on UCF101 and AVA, and demonstrate superior detection results. Remarkably, we achieve mAP of 75.0% and 18.6% on the two datasets with 3 progressive steps and using respectively only 11 and 34 initial proposals.

研究动机与目标

• 为解决时空动作检测中动作管在空间上的偏移问题。
• 通过随时间自适应扩展提议序列，提升时间建模的效率与准确性。
• 通过仅使用少量初始提议而非数千个密集锚点，降低计算成本。
• 开发一种端到端的渐进式优化框架，超越一次性检测方法。
• 通过迭代优化，实现对多样化动作尺度和运动模式的鲁棒检测。

提出的方法

• 该框架采用多步优化流程，从粗粒度的提议立方体开始。
• 空间优化通过使用前一步的回归输出，迭代更新边界框，以更准确地跟踪运动中的主体。
• 时间扩展在每一步自适应地增加输入序列的长度，以融入更长范围的上下文信息。
• 该方法利用RGB与光流特征的早期融合，以提升时空表征能力。
• 提议按顺序进行优化，每一步使用前一步的输出作为输入，从而实现定位精度的逐步提升。
• 该框架采用端到端训练，并通过渐进式学习策略进行优化，以平衡精度与效率。

实验结果

研究问题

• RQ1 渐进式学习框架是否能通过迭代优化提议，提升时空动作检测性能？
• RQ2 自适应时间扩展如何在处理空间偏移的同时提升分类准确性？
• RQ3 是否仅用少量初始提议即可实现高性能检测？
• RQ4 与一次性检测方法相比，渐进式优化在精度与效率方面是否更具优势？
• RQ5 该框架如何处理随时间产生显著空间偏移的动作管？

主要发现

• 在UCF101上，STEP实现了75.0%的帧mAP，相比第二好的方法提升了5.5%。
• 在AVA上，STEP实现了18.6%的帧mAP，比之前的SOTA方法ACRN高出1.2%。
• 该方法仅使用11个初始提议和3个步骤，以21 fps的速度运行，优于基于帧的方法（4 fps），并匹配基于片段的基线方法（23 fps）。
• 渐进式优化过程显著减少了误分类，如定性结果中随步骤推进，蓝色（错误）框被逐步消除。
• 空间优化能有效将提议向主体移动，提升在多样化动作尺度下的定位精度，如图8所示。
• 增加初始提议数量可提升精度，但会降低推理速度，表明速度与性能之间存在可控的权衡。