[论文解读] Non-Local Graph Convolutional Networks for Skeleton-Based Action Recognition

Lei Shi, Yifan Zhang+2 more|arXiv (Cornell University)|May 20, 2018

Human Pose and Action Recognition参考文献 17被引用 22

一句话总结

该论文提出了一种用于基于骨骼动作识别的双流自适应图卷积网络（2s-AGCN），通过反向传播端到端学习图拓扑结构，实现对多样化样本的数据驱动适应。通过联合建模一阶和二阶骨骼信息（关键点位置与骨骼向量），该方法在NTU-RGBD和Kinetics-Skeleton数据集上实现了最先进性能。

ABSTRACT

In skeleton-based action recognition, graph convolutional networks (GCNs), which model the human body skeletons as spatiotemporal graphs, have achieved remarkable performance. However, in existing GCN-based methods, the topology of the graph is set manually, and it is fixed over all layers and input samples. This may not be optimal for the hierarchical GCN and diverse samples in action recognition tasks. In addition, the second-order information (the lengths and directions of bones) of the skeleton data, which is naturally more informative and discriminative for action recognition, is rarely investigated in existing methods. In this work, we propose a novel two-stream adaptive graph convolutional network (2s-AGCN) for skeleton-based action recognition. The topology of the graph in our model can be either uniformly or individually learned by the BP algorithm in an end-to-end manner. This data-driven method increases the flexibility of the model for graph construction and brings more generality to adapt to various data samples. Moreover, a two-stream framework is proposed to model both the first-order and the second-order information simultaneously, which shows notable improvement for the recognition accuracy. Extensive experiments on the two large-scale datasets, NTU-RGBD and Kinetics-Skeleton, demonstrate that the performance of our model exceeds the state-of-the-art with a significant margin.

研究动机与目标

• 解决现有基于骨骼的动作识别图卷积网络中固定且手动设计的图拓扑结构的局限性。
• 通过实现对每个样本或在各层间统一的图结构端到端学习，提升模型泛化能力。
• 利用先前方法中未被充分使用的二阶骨骼信息（骨骼长度与方向）。
• 构建一个统一框架，同时建模一阶（关键点位置）和二阶（骨骼特征）的空间关系。

提出的方法

• 提出双流架构，其中一路处理关键点位置（一阶特征），另一路处理骨骼向量（二阶特征）。
• 引入可通过反向传播优化的可学习邻接矩阵，使图拓扑能够适应输入样本和网络深度。
• 采用自适应图卷积层，在训练过程中动态调整图结构，无需人工设计。
• 采用残差学习框架与身份跳跃连接，以稳定深层GCN架构的训练过程。
• 应用时空图卷积，保持帧间的时间一致性，同时建模空间关系。
• 在最终分类前，通过逐元素拼接将两路特征进行融合。

实验结果

研究问题

• RQ1 与固定的手动设计图相比，端到端学习的图拓扑结构是否能提升基于骨骼的动作识别性能？
• RQ2 同时建模一阶和二阶骨骼特征对识别准确率有何影响？
• RQ3 所提出的自适应图学习机制是否能在多样化的动作样本和复杂人体姿态下实现良好泛化？
• RQ4 双流设计在多大程度上增强了GCN中的判别性表征学习能力？

主要发现

• 所提出的2s-AGCN在NTU-RGBD数据集上实现了最先进准确率，显著优于先前方法。
• 在Kinetics-Skeleton数据集上，该模型实现了新的最先进性能，表明其在大规模、多样化动作类别上的强大泛化能力。
• 消融实验表明，自适应图学习与双流设计对性能提升均有显著贡献。
• 引入二阶信息（骨骼向量）相比仅使用关键点位置的模型，显著提升了识别准确率。
• 在两个数据集的所有评估协议中，端到端学习的图拓扑结构均持续提升性能。
• 由于采用灵活且数据驱动的图构建方式，该模型对姿态变化和动作复杂度变化表现出强鲁棒性。