[论文解读] Spatial Temporal Graph Attention Network for Skeleton-Based Action Recognition

Lianyu Hu, Shenglan Liu+1 more|arXiv (Cornell University)|Aug 18, 2022

Human Pose and Action Recognition被引用 9

一句话总结

该论文提出STGAT，一种空间-时间图注意力网络，通过自适应的、局部化的注意力机制建模跨时空依赖关系，从而提升基于骨架的动作识别性能。通过将时空建模整合到空间模块中，并引入三个轻量级模块以减少特征冗余，STGAT在NTU RGB+D 60、NTU RGB+D 120和Kinetics Skeleton 400数据集上均实现了最先进性能，在NTU RGB+D 60（X-Sub）上达到92.8%的top-1准确率，在Kinetics Skeleton 400上达到39.2%，显著提升了对相似动作的分类能力。

ABSTRACT

It's common for current methods in skeleton-based action recognition to mainly consider capturing long-term temporal dependencies as skeleton sequences are typically long (>128 frames), which forms a challenging problem for previous approaches. In such conditions, short-term dependencies are few formally considered, which are critical for classifying similar actions. Most current approaches are consisted of interleaving spatial-only modules and temporal-only modules, where direct information flow among joints in adjacent frames are hindered, thus inferior to capture short-term motion and distinguish similar action pairs. To handle this limitation, we propose a general framework, coined as STGAT, to model cross-spacetime information flow. It equips the spatial-only modules with spatial-temporal modeling for regional perception. While STGAT is theoretically effective for spatial-temporal modeling, we propose three simple modules to reduce local spatial-temporal feature redundancy and further release the potential of STGAT, which (1) narrow the scope of self-attention mechanism, (2) dynamically weight joints along temporal dimension, and (3) separate subtle motion from static features, respectively. As a robust feature extractor, STGAT generalizes better upon classifying similar actions than previous methods, witnessed by both qualitative and quantitative results. STGAT achieves state-of-the-art performance on three large-scale datasets: NTU RGB+D 60, NTU RGB+D 120, and Kinetics Skeleton 400. Code is released.

研究动机与目标

• 为解决现有方法在捕捉对区分相似动作至关重要的短期时间依赖关系方面的局限性。
• 克服因仅空间或仅时间模块的分解结构导致的相邻帧间关节信息流动受阻问题。
• 通过直接建模局部时空关系来提升相似动作对的性能。
• 通过轻量、高效的模块减少局部时空特征冗余。
• 在大规模骨架数据集上实现最先进性能，同时提升效率与泛化能力。

提出的方法

• 提出STGAT，一种通用框架，将时空建模集成到空间模块中，实现跨时空信息的直接流动。
• 通过连接相邻帧中的节点构建局部时空图，边权值基于运动模式自适应计算。
• 引入感受野缩小模块，限制自注意力的感受野，降低计算成本与冗余。
• 应用动态时间加权模块，突出信息量高的帧，抑制静态或噪声帧。
• 开发运动分离模块，将细微运动特征与静态姿态特征解耦，以提升判别能力。
• 在最终的STGAT模块中采用双路径聚合策略，在参数增加极少的情况下增强特征表示。

实验结果

研究问题

• RQ1 统一的时空建模框架是否能在捕捉相似动作识别中的短期运动方面优于分解的仅空间或仅时间模块？
• RQ2 与固定或密集连接相比，时空图中自适应的、局部化的边构建方式如何提升特征表示？
• RQ3 注意力感受野控制、动态时间加权和运动分离等轻量模块在多大程度上减少冗余并提升性能？
• RQ4 STGAT在相似动作对上的泛化能力是否优于先前的最先进方法？
• RQ5 STGAT是否能在计算成本和内存使用上低于现有图神经网络模型的同时实现最先进性能？

主要发现

• 在NTU RGB+D 60数据集的X-Sub设置下，STGAT达到92.8%的top-1准确率，超越了所有先前的最先进方法。
• 在NTU RGB+D 120上，STGAT在X-Sub设置下达到88.7%的top-1准确率，在X-Set设置下达到90.4%，优于所有先前方法。
• 在Kinetics Skeleton 400上，STGAT达到39.2%的top-1准确率和62.8%的top-5准确率，创下新最先进纪录。
• 消融实验表明，所提出的三个模块均对性能提升有贡献，尤其在区分相似动作方面效果显著。
• STGAT以更少的参数量（2.4M）和更低的GFLOPs（14.6）优于MS-G3D Net，展现出更高的效率。
• 可视化结果表明，STGAT学习到的边更聚焦于运动关键关节（如‘挥手’动作中的左手），而基线方法的注意力分布则更分散或均匀。