[论文解读] Segmental Spatio-Temporal CNNs for Fine-grained Action Segmentation and Classification

Colin Lea, Austin Reiter+2 more|arXiv (Cornell University)|Feb 9, 2016

Human Pose and Action Recognition被引用 3

一句话总结

本文提出了一种分段时空卷积神经网络模型，该模型结合了用于场景物体和关系的空间卷积神经网络、用于随时间动态变化的时序卷积神经网络，以及用于动作转换建模的半马尔可夫模型。该方法实现了快速、联合的动作分割与分类，在烹饪和外科手术动作数据集上达到了最先进性能，且显著提升了推理速度。

ABSTRACT

Joint segmentation and classification of fine-grained actions is important for applications in human-robot interaction, video surveillance, and human skill evaluation. However, despite substantial recent progress in large scale action classification, the performance of state-of-the-art fine-grained action recognition approaches remains low. In this paper, we propose a new spatio-temporal CNN model for fine-grained action classification and segmentation, which combines (1) a spatial CNN to represent objects in the scene and their spatial relationships; (2) a temporal CNN that captures how object relationships within an action change over time; and (3) a semi-Markov model that captures transitions from one action to another. In addition, we introduce an efficient segmental inference algorithm for joint segmentation and classification of actions that is orders of magnitude faster than state-of-the-art approaches. We highlight the effectiveness of our approach on cooking and surgical action datasets for which we observe substantially improved performance relative to recent baseline methods.

研究动机与目标

• 解决尽管在大规模动作分类方面取得进展，但在细粒度动作识别方面性能仍然较低的挑战。
• 为人类-机器人交互和视频监控等应用，实现细粒度动作的联合分割与分类。
• 开发一种高效的推理算法，与现有方法相比，显著减少计算时间。
• 通过改进动作中空间关系和时间动态的建模，提升识别准确率。
• 集成半马尔可夫模型，以更好地捕捉视频序列中不同动作之间的转换。

提出的方法

• 使用空间卷积神经网络提取每一帧中物体及其空间构型的特征。
• 应用时序卷积神经网络建模物体关系随时间的演变，捕捉运动与交互动态。
• 通过共享表征将空间与时序特征结合，实现端到端学习。
• 采用半马尔可夫模型建模动作边界与转换，实现基于片段的预测。
• 设计一种新型分段推理算法，使联合分割与分类的推理速度提升数个数量级。
• 使用弱监督学习方法，以视频级别标签进行端到端训练。

实验结果

研究问题

• RQ1 统一的时空卷积神经网络架构是否能通过同时建模空间关系与时间动态，提升细粒度动作识别性能？
• RQ2 与标准CRF或基于RNN的方法相比，半马尔可夫模型在捕捉动作转换方面有多高效？
• RQ3 新型分段推理算法是否能在不牺牲准确率的前提下，实现显著更快的推理速度？
• RQ4 所提出方法是否在烹饪与外科手术动作的基准数据集上优于最先进方法？
• RQ5 空间与时序特征表征在提升分割与分类性能方面，各自贡献程度如何？

主要发现

• 与近期基线方法相比，所提方法在烹饪和外科手术动作数据集上实现了显著提升的性能。
• 分段推理算法比最先进方法快数个数量级，支持实时或近实时推理。
• 空间、时序与半马尔可夫建模的集成，使动作边界检测与分类更加准确。
• 该模型在细粒度动作识别任务中表现出强大的泛化能力，而先前方法表现欠佳。
• 消融实验确认，空间与时序建模组件对整体性能提升均有显著贡献。