[论文解读] Optimized Skeleton-based Action Recognition via Sparsified Graph Regression

Xiang Gao, Wei Hu+3 more|arXiv (Cornell University)|Nov 29, 2018

Human Pose and Action Recognition参考文献 69被引用 15

一句话总结

本文提出GR-GCN，一种基于图回归的图卷积网络，用于基于骨架的动作识别，通过统计学习优化时空图结构以增强特征表示。通过强制实施稀疏性并建模帧间物理、非物理及时间连接，该方法在NTU RGB+D（77.9%）、UT-Kinect（98.5%）和Florence 3D（98.4%）数据集上实现了最先进性能，采用切比雪夫近似谱卷积。

ABSTRACT

With the prevalence of accessible depth sensors, dynamic human body skeletons have attracted much attention as a robust modality for action recognition. Previous methods model skeletons based on RNN or CNN, which has limited expressive power for irregular skeleton joints. While graph convolutional networks (GCN) have been proposed to address irregular graph-structured data, the fundamental graph construction remains challenging. In this paper, we represent skeletons naturally on graphs, and propose a graph regression based GCN (GR-GCN) for skeleton-based action recognition, aiming to capture the spatio-temporal variation in the data. As the graph representation is crucial to graph convolution, we first propose graph regression to statistically learn the underlying graph from multiple observations. In particular, we provide spatio-temporal modeling of skeletons and pose an optimization problem on the graph structure over consecutive frames, which enforces the sparsity of the underlying graph for efficient representation. The optimized graph not only connects each joint to its neighboring joints in the same frame strongly or weakly, but also links with relevant joints in the previous and subsequent frames. We then feed the optimized graph into the GCN along with the coordinates of the skeleton sequence for feature learning, where we deploy high-order and fast Chebyshev approximation of spectral graph convolution. Further, we provide analysis of the variation characterization by the Chebyshev approximation. Experimental results validate the effectiveness of the proposed graph regression and show that the proposed GR-GCN achieves the state-of-the-art performance on the widely used NTU RGB+D, UT-Kinect and SYSU 3D datasets.

研究动机与目标

• 解决GCN在基于骨架动作识别中固定或启发式图构建的局限性。
• 比RNN或CNN更有效地建模不规则图结构数据中的人体关节点序列的时空依赖性。
• 通过统计优化从多个时空帧中学习一种通用的稀疏图结构。
• 通过将优化图拓扑与3D关节点坐标集成到谱GCN框架中，改进特征学习。
• 验证稀疏化、多帧图构建在捕捉人体运动动态变化方面的有效性。

提出的方法

• 提出图回归，从连续时空帧的多个观测中学习最优、稀疏的图拉普拉斯矩阵。
• 在图拉普拉斯上构建优化问题，强制实施稀疏性并捕捉帧内、帧间及时间连接。
• 构建一个具有强物理边、弱非物理空间边以及帧间关节点时间连接的时空图。
• 应用高阶切比雪夫多项式近似进行谱图卷积，实现高效且表达力强的特征学习。
• 将3D关节点坐标作为节点特征，将优化图结构作为输入送入GCN，实现端到端动作分类。
• 采用统计学习框架估计多个序列间的共同图结构，提升泛化能力。

实验结果

研究问题

• RQ1 数据驱动的优化图结构是否能优于手工设计或固定图拓扑，提升动作识别性能？
• RQ2 如何在骨架的图结构表示中有效建模多帧连续时间内的时空依赖性？
• RQ3 在图结构中强制实施稀疏性对识别准确率和计算效率有何影响？
• RQ4 不同阶数的切比雪夫多项式对本设置下谱图卷积性能有何影响？
• RQ5 非物理空间连接和时间连接在建模运动变化方面贡献程度如何？

主要发现

• 完整GR-GCN模型在NTU RGB+D数据集上达到77.9%的准确率，优于先前最先进方法。
• 在UT-Kinect数据集上，模型达到98.5%的准确率，与最佳现有方法持平，展现出在具有挑战性的相似动作序列上的鲁棒性。
• 在Florence 3D数据集上，模型达到98.4%的准确率，显著优于所有基线方法，除使用自回归建模的Deep STGC K外。
• 消融实验表明，与仅包含骨骼和帧内连接的模型相比，时间连接带来2.8%的准确率提升，凸显其重要性。
• 切比雪夫多项式阶数K=4在所有数据集上表现最佳，而K=5导致过拟合并引发性能下降。
• 引入非物理帧内连接使准确率相比仅骨骼模型提升0.1%，表明对关节点关系的细微但有意义的建模。