[论文解读] Relational Network for Skeleton-Based Action Recognition

Zheng Wu, Lin Li+3 more|arXiv (Cornell University)|May 7, 2018

Human Pose and Action Recognition参考文献 17被引用 14

一句话总结

该论文提出了一种基于注意力机制的循环关系网络-LSTM（ARRN-LSTM）用于基于骨骼的动作识别，采用双流架构，通过循环关系网络（RRN）建模空间结构，通过多层LSTM建模时间动态，并引入自适应注意力模块聚焦于具有判别性的身体部位。该方法在NTU RGB+D、Florence 3D和MSRAction3D数据集上取得了最先进性能，优于现有的CNN和RNN方法。

ABSTRACT

With the fast development of effective and low-cost human skeleton capture systems, skeleton-based action recognition has attracted much attention recently. Most existing methods use Convolutional Neural Network (CNN) and Recurrent Neural Network (RNN) to extract spatio-temporal information embedded in the skeleton sequences for action recognition. However, these approaches are limited in the ability of relational modeling in a single skeleton, due to the loss of important structural information when converting the raw skeleton data to adapt to the input format of CNN or RNN. In this paper, we propose an Attentional Recurrent Relational Network-LSTM (ARRN-LSTM) to simultaneously model spatial configurations and temporal dynamics in skeletons for action recognition. We introduce the Recurrent Relational Network to learn the spatial features in a single skeleton, followed by a multi-layer LSTM to learn the temporal features in the skeleton sequences. Between the two modules, we design an adaptive attentional module to focus attention on the most discriminative parts in the single skeleton. To exploit the complementarity from different geometries in the skeleton for sufficient relational modeling, we design a two-stream architecture to learn the structural features among joints and lines simultaneously. Extensive experiments are conducted on several popular skeleton datasets and the results show that the proposed approach achieves better results than most mainstream methods.

研究动机与目标

• 为解决CNN和RNN方法在编码原始骨骼数据进行动作识别时难以保持结构信息的局限性。
• 通过引入循环关系网络（RRN），有效建模关节与线条之间的关系，提升单帧骨骼特征的学习能力。
• 通过在从骨骼中提取的关系特征上集成多层LSTM，增强时间建模能力。
• 通过双流架构，利用关节与线条的互补空间表征。
• 验证自适应注意力机制在动作识别过程中聚焦于判别性身体部位的有效性。

提出的方法

• 该方法采用双流架构：一条流处理基于关节的骨骼图，另一条流处理基于线条的图，两者均使用循环关系网络（RRN）来建模单帧中的空间结构。
• 每条流均应用多层LSTM，以捕捉序列骨骼帧之间的时间动态。
• 在RRN与LSTM模块之间插入自适应注意力模块，以动态强调每个动作中最具判别性的骨骼部分。
• RRN模块支持节点（关节或线条）之间的灵活、迭代消息传递，从而在图结构数据中有效学习长距离依赖关系。
• 两条流的输出进行拼接，并输入最终分类器进行动作识别。
• 采用交叉熵损失，结合标准优化技术，进行端到端训练。

实验结果

研究问题

• RQ1 循环关系网络（RRN）能否有效建模单帧骨骼中的空间结构，保留关节与线条之间的结构关系？
• RQ2 自适应注意力机制的引入是否通过聚焦于判别性身体部位而提升了动作识别性能？
• RQ3 与单流方法相比，分别处理关节与线条的双流架构如何增强关系建模能力？
• RQ4 ARRN-LSTM框架是否能在标准骨骼动作识别基准上超越主流的CNN和RNN方法？
• RQ5 各组件（RRN、LSTM、注意力、双流）对整体性能的贡献如何？

主要发现

• 在NTU RGB+D数据集上，ARRN-LSTM达到89.6%的交叉验证准确率和81.8%的跨被试准确率，优于ST-GCN（88.3%和81.5%）与VA-LSTM（87.6%和79.4%）。
• 在Florence 3D数据集上，ARRN-LSTM达到98.52%的准确率，在一个划分上超越Deep STGCK（99.07%），并与最先进方法保持竞争力。
• 在MSRAction3D数据集上，ARRN-LSTM达到95.0%的准确率，优于Lie Group（92.5%）与HBRNN（94.5%），并与ST-NBMIM（95.3%）保持竞争力。
• 消融实验表明，注意力模块使准确率提升2–5个百分点，双流结合使性能提升2–3个百分点，证明了其互补性。
• 采用RRN进行空间建模、多层LSTM进行时间建模的双流架构，相比基线模型带来6–7个百分点的准确率增益，验证了该框架的有效性。