[论文解读] Skeleton-based Gesture Recognition Using Several Fully Connected Layers with Path Signature Features and Temporal Transformer Module

Chenyang Li, Xin Zhang+3 more|arXiv (Cornell University)|Nov 17, 2018

Human Pose and Action Recognition参考文献 42被引用 4

一句话总结

该论文提出了一种基于骨架的手势识别框架，采用路径签名特征（S_PS、T_PS、T_S_PS）和时间变换器模块（TTM）来建模时空动态。通过应用‘关注手部’原则进行关节选择，以及采用双线性方法进行特征提取，该方法在ChaLearn 2013、ChaLearn 2016和MSRC-12数据集上实现了最先进（SOTA）的准确率，同时仅使用极少的全连接层并具备高计算效率。

ABSTRACT

The skeleton based gesture recognition is gaining more popularity due to its wide possible applications. The key issues are how to extract discriminative features and how to design the classification model. In this paper, we first leverage a robust feature descriptor, path signature (PS), and propose three PS features to explicitly represent the spatial and temporal motion characteristics, i.e., spatial PS (S_PS), temporal PS (T_PS) and temporal spatial PS (T_S_PS). Considering the significance of fine hand movements in the gesture, we propose an "attention on hand" (AOH) principle to define joint pairs for the S_PS and select single joint for the T_PS. In addition, the dyadic method is employed to extract the T_PS and T_S_PS features that encode global and local temporal dynamics in the motion. Secondly, without the recurrent strategy, the classification model still faces challenges on temporal variation among different sequences. We propose a new temporal transformer module (TTM) that can match the sequence key frames by learning the temporal shifting parameter for each input. This is a learning-based module that can be included into standard neural network architecture. Finally, we design a multi-stream fully connected layer based network to treat spatial and temporal features separately and fused them together for the final result. We have tested our method on three benchmark gesture datasets, i.e., ChaLearn 2016, ChaLearn 2013 and MSRC-12. Experimental results demonstrate that we achieve the state-of-the-art performance on skeleton-based gesture recognition with high computational efficiency.

研究动机与目标

• 为解决基于骨架的手势识别中判别性特征提取的挑战，特别是针对精细手部动作的识别问题。
• 设计一种轻量化、高效的分类模型，能够在不使用循环神经网络的情况下捕捉时序依赖关系。
• 通过路径签名特征显式建模手势序列中的全局与局部时序动态。
• 通过关节选择策略与端到端可训练的时间对齐机制，提升识别的鲁棒性与效率。

提出的方法

• 引入三种路径签名特征：空间路径签名（S_PS）、时间路径签名（T_PS）和时空路径签名（T_S_PS），以编码空间构型与时间动态。
• 提出一种‘关注手部’（AOH）原则，用于为S_PS选择相关关节对，为T_PS选择单个关节，从而提升特征的紧凑性与鲁棒性。
• 采用双线性方法提取T_PS与T_S_PS特征，实现对全局与局部时序动态的编码，同时降低特征维度。
• 设计一种时间变换器模块（TTM），通过学习序列特定的时间位移参数来对齐关键帧，以可微分、端到端的方式提升时序建模能力。
• 构建一个多流全连接网络，分别处理空间与时间特征，随后进行早期融合，从而最小化模型复杂度。
• 将TTM与路径签名特征集成到标准神经网络架构中，实现即插即用的部署方式。

实验结果

研究问题

• RQ1 路径签名特征是否能有效捕捉基于骨架的手势序列中的空间与时间动态？
• RQ2 ‘关注手部’原则如何提升精细手势识别中特征的紧凑性与识别准确率？
• RQ3 可学习的时间变换模块（TTM）是否能超越固定或循环的时间建模方法在手势识别中的表现？
• RQ4 在仅使用简单全连接网络并结合多流特征处理的情况下，性能能达到何种程度的SOTA水平？

主要发现

• 在ChaLearn 2013数据集上，该方法达到92.08%的准确率，超越以往基于骨架的方法，接近基于视频的模型性能。
• 在ChaLearn 2016数据集上，模型准确率达到39.95%，相比现有基于骨架的方法提升约4.5个百分点。
• 在MSRC-12数据集上，该方法实现99.01%的准确率，创下基于骨架手势识别的新SOTA记录。
• 模型仅需269万次乘加操作（FLOPs），显著低于RNN与CNN基线模型，展现出极高的计算效率。
• 消融实验表明，AOH原则与TTM模块均对性能提升有显著贡献。
• 即使在模型复杂度极低的情况下，该方法仍保持高性能，证明了显式特征工程与轻量化架构的有效性。