[论文解读] Searching Action Proposals via Spatial Actionness Estimation and Temporal Path Inference and Tracking

Nannan Li, Dan Xu+3 more|arXiv (Cornell University)|Aug 23, 2016

Human Pose and Action Recognition参考文献 28被引用 5

一句话总结

该论文提出了一种新颖的视频动作候选生成框架，结合了基于外观和运动线索的帧级动作性估计，以及通过贪心优化和检测跟踪进行的时间路径推理。通过利用Faster R-CNN生成人体候选区域，并使用高斯混合模型建模运动，该方法在仅每视频12个候选区域的情况下，实现了SOTA的召回率（UCF-Sports数据集上为91.49%），显著减少了候选区域数量，同时提高了准确性。

ABSTRACT

In this paper, we address the problem of searching action proposals in unconstrained video clips. Our approach starts from actionness estimation on frame-level bounding boxes, and then aggregates the bounding boxes belonging to the same actor across frames via linking, associating, tracking to generate spatial-temporal continuous action paths. To achieve the target, a novel actionness estimation method is firstly proposed by utilizing both human appearance and motion cues. Then, the association of the action paths is formulated as a maximum set coverage problem with the results of actionness estimation as a priori. To further promote the performance, we design an improved optimization objective for the problem and provide a greedy search algorithm to solve it. Finally, a tracking-by-detection scheme is designed to further refine the searched action paths. Extensive experiments on two challenging datasets, UCF-Sports and UCF-101, show that the proposed approach advances state-of-the-art proposal generation performance in terms of both accuracy and proposal quantity.

研究动机与目标

• 解决在非约束视频中生成高质量、空间紧凑且时间连续的动作候选区域的挑战。
• 通过整合超越传统目标候选方法的人体外观与运动线索，改进帧级动作性估计。
• 通过最小化动作候选区域数量，在保持高召回率的同时降低计算复杂度。
• 将时间动作路径关联建模为最大集合覆盖问题，并采用优化的贪心算法求解。
• 通过检测跟踪方案优化路径，以恢复检测失败帧中缺失的候选区域。

提出的方法

• 使用在增强动作检测数据集上微调的Faster R-CNN模型进行帧级动作性估计，以生成人体候选区域。
• 对每个人体候选区域，使用高斯混合模型建模运动模式，以估计基于运动的动作性。
• 通过前向与后向搜索算法，基于空间与运动相似性在帧间链接候选区域，形成时空动作路径。
• 将动作路径关联建模为最大集合覆盖问题，采用改进的优化目标与贪心搜索算法求解。
• 应用检测跟踪方案，通过恢复检测失败帧中的缺失候选区域，优化路径。
• 该框架在UCF-Sports与UCF-101上进行训练与评估，每帧推理时间平均为1.69秒。

实验结果

研究问题

• RQ1 联合建模外观与运动是否能提升非约束视频中的帧级动作性估计？
• RQ2 将动作路径关联建模为最大集合覆盖问题，是否能提升候选区域质量并减少冗余？
• RQ3 采用改进目标函数的贪心搜索算法，在生成高召回率、低复杂度动作候选区域方面效果如何？
• RQ4 检测跟踪在提升动作路径完整性和连续性方面，效果如何？
• RQ5 与SOTA方法相比，该方法在召回率、候选区域数量及多样化动作类别下的鲁棒性表现如何？

主要发现

• 在UCF-Sports数据集上，该方法在IoU阈值为0.5时达到91.49%的召回率，显著优于先前方法（最高为89.36%）。
• 该方法平均每视频仅生成12个动作候选区域，相比SOTA方法生成数百甚至数千个候选区域，实现显著减少。
• 在UCF-101数据集上，该方法达到63.76%的ABO与39.64%的召回率，优于此前SOTA方法APT（40.77% ABO，35.45%召回率）。
• 在UCF-101中，对于Biking、Surfing与TrampoliningJumping等具有挑战性的动作类别，该方法性能显著优于基线方法。
• 即使在高IoU阈值（如0.7）下，该方法仍保持高于0.7的召回率，而先前方法在相同条件下召回率低于0.4。
• 运行时分析显示，每帧平均推理时间为1.69秒，其中动作性估计耗时1秒，路径推理耗时0.09秒，路径补全耗时0.5秒。