[论文解读] Stacked Spatio-Temporal Graph Convolutional Networks for Action Segmentation

Pallabi Ghosh, Yi Yao+2 more|arXiv (Cornell University)|Nov 26, 2018

Human Pose and Action Recognition被引用 6

一句话总结

该论文提出了一种用于长视频动作分割的堆叠时空图卷积网络（Stacked-STGCN），通过使用可变长度描述符建模多样化的节点（如人物、物体、场景）以及灵活的时序边，以应对大规模图形形变。该方法将堆叠沙漏架构融入STGCN，以提升定位精度和泛化能力，在CAD120数据集上F1分数提升4.0%，在Charades数据集上mAP提升1.3%（使用I3D特征）。

ABSTRACT

We propose novel Stacked Spatio-Temporal Graph Convolutional Networks (Stacked-STGCN) for action segmentation, i.e., predicting and localizing a sequence of actions over long videos. We extend the Spatio-Temporal Graph Convolutional Network (STGCN) originally proposed for skeleton-based action recognition to enable nodes with different characteristics (e.g., scene, actor, object, action, etc.), feature descriptors with varied lengths, and arbitrary temporal edge connections to account for large graph deformation commonly associated with complex activities. We further introduce the stacked hourglass architecture to STGCN to leverage the advantages of an encoder-decoder design for improved generalization performance and localization accuracy. We explore various descriptors such as frame-level VGG, segment-level I3D, RCNN-based object, etc. as node descriptors to enable action segmentation based on joint inference over comprehensive contextual information. We show results on CAD120 (which provides pre-computed node features and edge weights for fair performance comparison across algorithms) as well as a more complex real-world activity dataset, Charades. Our Stacked-STGCN in general achieves 4.0% performance improvement over the best reported results in F1 score on CAD120 and 1.3% in mAP on Charades using VGG features.

研究动机与目标

• 通过联合建模人物、物体和场景等多样化上下文线索，提升长视频中的动作分割性能。
• 通过灵活的时序边连接，应对遮挡、检测缺失和动态变化带来的大规模图结构形变。
• 通过适配图卷积网络的堆叠沙漏设计，提升定位精度与泛化能力。
• 在统一的STGCN框架内，支持不同类型节点（如VGG、I3D、RCNN）的异构节点描述符，且长度可变。
• 实现多模态上下文信息的联合推理，以提升动作识别与分割的鲁棒性。

提出的方法

• 扩展STGCN以支持不同类型节点（如人物、物体、场景）及其可变长度的特征描述符。
• 引入任意时序边连接，包括多步连接与全连接边，以建模复杂活动动态并应对大形变。
• 通过在编码器每一层下采样邻接矩阵，将堆叠沙漏架构适配至STGCN，以匹配特征维度。
• 使用帧级VGG、片段级I3D以及基于RCNN的物体特征作为节点描述符，以增强上下文表征。
• 采用基于图的编码器-解码器结构，融合多尺度特征，以提升定位精度与鲁棒性。
• 对空间与时序关系（包括节点间的功能与因果关联）应用可学习边权重。

实验结果

研究问题

• RQ1 通用STGCN框架能否有效建模具有可变长度描述符的异构节点，以实现动作分割？
• RQ2 灵活的时序边连接在存在显著图结构形变的长视频序列中，是否能提升性能？
• RQ3 堆叠沙漏架构在STGCN-based动作分割中，能在多大程度上提升定位精度与泛化能力？
• RQ4 当在时空图上联合推理时，不同节点描述符（如VGG、I3D、RCNN）对性能提升的贡献如何？
• RQ5 异构节点类型之间的空间边连接对分割精度的影响如何？

主要发现

• 在CAD120数据集上，Stacked-STGCN相比最佳报告结果，F1分数提升4.0%。
• 在Charades数据集上，使用I3D特征时，该方法相比最佳报告结果，mAP提升1.3%。
• 使用VGG特征时，Stacked-STGCN在Charades上相比基线方法与LSTM模型，mAP提升2.4%。
• 除使用注意力机制的I3D+Super-events外，该模型在Charades上优于所有先前方法。
• 当使用片段级I3D特征时性能提升最为显著，表明长程上下文建模对时序建模具有显著益处。
• 异构节点间（如人物-物体）的空间边连接仅带来微小改进，可能由于固定权重边建模过于简化。