[论文解读] Spatio-temporal Human Action Localisation and Instance Segmentation in Temporally Untrimmed Videos

Suman Saha, Gurkirt Singh+3 more|arXiv (Cornell University)|Jul 22, 2017

Human Pose and Action Recognition参考文献 24被引用 8

一句话总结

该论文提出了一种新颖的时空动作检测与实例分割框架，适用于时序未修剪的视频，通过动态规划在时空维度上优化动作管提议，并利用前景-背景分割生成像素级实例掩码。该方法在 LIRIS-HARL 数据集上相较之前最先进方法实现了 14.3× 的性能提升。

ABSTRACT

Current state-of-the-art human action recognition is focused on the classification of temporally trimmed videos in which only one action occurs per frame. In this work we address the problem of action localisation and instance segmentation in which multiple concurrent actions of the same class may be segmented out of an image sequence. We cast the action tube extraction as an energy maximisation problem in which configurations of region proposals in each frame are assigned a cost and the best action tubes are selected via two passes of dynamic programming. One pass associates region proposals in space and time for each action category, and another pass is used to solve for the tube's temporal extent and to enforce a smooth label sequence through the video. In addition, by taking advantage of recent work on action foreground-background segmentation, we are able to associate each tube with class-specific segmentations. We demonstrate the performance of our algorithm on the challenging LIRIS-HARL dataset and achieve a new state-of-the-art result which is 14.3 times better than previous methods.

研究动机与目标

• 解决在时序未修剪视频中检测多个并发人类动作的挑战，其中先前方法集中于单动作、修剪后的片段。
• 在时空维度上同时定位动作，并生成像素级实例分割掩码。
• 克服现有方法忽略空间定位或在外观相似的复杂重叠动作上失效的局限性。
• 实现在每帧中存在多个动作且无时间修剪的真实世界场景下的鲁棒检测。
• 首次为未修剪视频中的人类动作检测提供定性实例分割结果。

提出的方法

• 将动作管提取建模为能量最大化问题，为跨帧的区域提议配置分配代价。
• 使用两次动态规划：第一次用于按动作类别在时空上关联提议，第二次用于确定时间范围并强制实现平滑的标签序列。
• 利用 [24] 中的前景-背景分割结果，基于人体掩码中的连通域生成区域提议。
• 通过结合时序一致的提议构建时空管，使用平衡外观、运动和空间重叠的代价函数。
• 通过将每个检测到的管与前景图中对应的分割掩码关联，实现类别特定的实例分割。
• 通过在每个新帧上增量更新动态规划，将流水线适配为在线推理，实现实时动作检测。

实验结果

研究问题

• RQ1 是否能够通过统一框架在时序未修剪视频中联合完成时空动作定位与实例分割，且支持多个并发动作？
• RQ2 如何有效应用动态规划在时空维度上优化三维管提议，同时保证时间一致性？
• RQ3 前景-背景分割在复杂场景中在多大程度上提升了动作实例分割的质量与准确性？
• RQ4 在具有挑战性的现实世界数据集上，该方法在检测与分割性能方面相较于先前最先进方法表现如何？
• RQ5 该方法能否扩展至在线、增量推理设置，以实现实时动作检测？

主要发现

• 所提方法在 LIRIS-HARL 数据集上相较之前最先进方法实现了 14.3× 的性能提升。
• 在时间召回率阈值 $t_{tr} = 1$ 下，基于 HMS 的方法实现 50% 的召回率与 65% 的精确率，显著优于 IACAS-51（仅 2.4% 召回率与 3.7% 精确率）。
• 在空间召回率阈值 $t_{sr} = 0.7$ 下，基于 HMS 的方法保持 45–50% 的召回率与 59–65.5% 的精确率，两项指标均优于基于 SS 的方法。
• 在像素级精确率阈值 $t_{sp} = 0.7$ 下，基于 HMS 的方法实现 48–63% 的精确率，高于基于 SS 的方法的 41–53%。
• 该方法在不同阈值下表现出鲁棒性，精确率、召回率与 F1 分数保持一致，尤其在严格的时间与空间重叠约束下表现优异。
• 成功生成了首个定性实例分割结果，展示了在单帧中重叠动作的准确像素级掩码。