[论文解读] Skeleton-Based Action Recognition Using Spatio-Temporal LSTM Network with Trust Gates

Jun Liu, Amir Shahroudy+3 more|arXiv (Cornell University)|Jun 26, 2017

Human Pose and Action Recognition参考文献 68被引用 9

一句话总结

本文提出一种带有信任门的时空LSTM网络用于基于骨骼的动作识别，通过人体关节的树状结构遍历建模时间动态和空间依赖关系。该方法通过在LSTM单元内引入新颖的信任门机制以增强对噪声的鲁棒性，并实现多模态特征融合，在七个基准数据集上实现了最先进性能。

ABSTRACT

Skeleton-based human action recognition has attracted a lot of research attention during the past few years. Recent works attempted to utilize recurrent neural networks to model the temporal dependencies between the 3D positional configurations of human body joints for better analysis of human activities in the skeletal data. The proposed work extends this idea to spatial domain as well as temporal domain to better analyze the hidden sources of action-related information within the human skeleton sequences in both of these domains simultaneously. Based on the pictorial structure of Kinect's skeletal data, an effective tree-structure based traversal framework is also proposed. In order to deal with the noise in the skeletal data, a new gating mechanism within LSTM module is introduced, with which the network can learn the reliability of the sequential data and accordingly adjust the effect of the input data on the updating procedure of the long-term context representation stored in the unit's memory cell. Moreover, we introduce a novel multi-modal feature fusion strategy within the LSTM unit in this paper. The comprehensive experimental results on seven challenging benchmark datasets for human action recognition demonstrate the effectiveness of the proposed method.

研究动机与目标

• 通过建模人体关节序列中的时间与空间依赖关系，提升基于骨骼的动作识别性能。
• 通过在LSTM单元内引入可学习的信任门机制，缓解3D骨骼数据中的噪声影响。
• 通过在LSTM框架内融合多模态特征，增强特征表示能力。
• 利用人体骨骼的运动学结构，通过树状遍历策略实现更优的空间上下文建模。
• 在多个基准数据集上实现动作识别的最先进性能。

提出的方法

• 提出一种时空LSTM（ST-LSTM）网络，同时处理骨骼中关节位置在时间维度和空间邻接关系上的信息。
• 基于运动学关系，采用树状结构遍历骨骼，以语义上有意义的顺序排列关节。
• 引入一种“信任门”机制，学习每个时间步输入数据的可靠性，动态调整记忆更新。
• 在LSTM单元内融合多模态特征，整合每个关节的几何与动态特征。
• 采用基于预测的信任门机制，利用来自时间与空间邻居的上下文信息估计输入可靠性（公式30与32）。
• 端到端训练整个网络，联合优化时空表征与动作分类。

实验结果

研究问题

• RQ1 在骨骼序列中同时建模空间与时间依赖关系是否能提升动作识别的准确率？
• RQ2 与线性或链式遍历相比，关节的树状结构遍历在捕捉运动学关系方面表现如何？
• RQ3 可学习的信任门在多大程度上提升了对骨骼数据中噪声的鲁棒性？
• RQ4 在LSTM单元内进行多模态特征融合在增强判别性表征方面效果如何？
• RQ5 所提出的带有信任门的ST-LSTM是否在多样化的基准数据集上优于现有最先进方法？

主要发现

• 所提出的带有树状遍历的ST-LSTM在全部七个基准数据集上均取得最高准确率，优于先前最先进方法。
• 信任门机制在ST-LSTM和标准LSTM上均提升了性能，但ST-LSTM中收益更为显著，归因于其更丰富的上下文信息。
• 树状遍历策略优于关节链和双关节链遍历，证明了语义上有意义的关节排序的重要性。
• 将LSTM替换为时间平均池化后性能显著下降，证实RNN在建模序列动态方面的优越性。
• 带有信任门的ST-LSTM实现了最先进结果，验证了联合时空建模与噪声鲁棒性设计的有效性。
• 树状遍历中的“末-首”连接机制进一步提升了识别准确率，表明双向上下文传播具有显著优势。