[论文解读] STAR-Transformer: A Spatio-temporal Cross Attention Transformer for Human Action Recognition

Dasom Ahn, Sangwon Kim+2 more|arXiv (Cornell University)|Oct 14, 2022

Human Pose and Action Recognition被引用 4

一句话总结

本文提出STAR-Transformer，一种新颖的时空交叉注意力Transformer，通过多类别标记联合建模视频帧与人体骨骼序列，以提升人体动作识别性能。通过在编码器-解码器架构中整合完整的、之字形的以及二值化的时空注意力机制，STAR-Transformer在Penn-Action和NTU-RGB+D数据集上实现了最先进性能，采用F-Z（编码器）和F-B（解码器）配置时准确率达到98.7%。

ABSTRACT

In action recognition, although the combination of spatio-temporal videos and skeleton features can improve the recognition performance, a separate model and balancing feature representation for cross-modal data are required. To solve these problems, we propose Spatio-TemporAl cRoss (STAR)-transformer, which can effectively represent two cross-modal features as a recognizable vector. First, from the input video and skeleton sequence, video frames are output as global grid tokens and skeletons are output as joint map tokens, respectively. These tokens are then aggregated into multi-class tokens and input into STAR-transformer. The STAR-transformer encoder layer consists of a full self-attention (FAttn) module and a proposed zigzag spatio-temporal attention (ZAttn) module. Similarly, the continuous decoder consists of a FAttn module and a proposed binary spatio-temporal attention (BAttn) module. STAR-transformer learns an efficient multi-feature representation of the spatio-temporal features by properly arranging pairings of the FAttn, ZAttn, and BAttn modules. Experimental results on the Penn-Action, NTU RGB+D 60, and 120 datasets show that the proposed method achieves a promising improvement in performance in comparison to previous state-of-the-art methods.

研究动机与目标

• 为解决在动作识别中有效融合视频与骨骼特征的挑战，且无需依赖独立的跨模态学习子模型。
• 克服标准视觉Transformer在建模长程时间依赖性和多模态时空关系方面的局限。
• 开发一种统一的、端到端可训练架构，从RGB视频和骨骼数据中学习判别性多特征表示。
• 通过在所有时间帧间实现均衡注意力，避免标准自注意力机制中对最终帧的过度依赖，从而提升识别准确率。
• 通过源自共享CNN嵌入的视频与骨骼输入的多类别标记，实现高效、可扩展的特征聚合。

提出的方法

• 该模型使用共享CNN从视频帧提取全局网格标记，从骨骼序列提取关节点图标记，随后将这些标记聚合为多类别标记，输入STAR-Transformer。
• 编码器采用完整的时空注意力（FAttn）和一种新颖的之字形时空注意力（ZAttn）模块，以捕捉跨模态的长程时空依赖。
• 解码器使用FAttn和一种二值化时空注意力（BAttn）模块，以重建并优化多特征表示用于分类。
• 该架构采用编码器-解码器结构，FAttn、ZAttn和BAttn被战略性地组合，以在时空维度上平衡全局与局部特征学习。
• 交叉注意力机制被专门设计用于建模视频与骨骼模态之间的交互，实现在无需独立特征融合网络的情况下进行联合表征学习。
• 模型采用标准交叉熵损失进行端到端训练，性能在Penn-Action和NTU-RGB+D 60/120等标准基准上进行评估。

实验结果

研究问题

• RQ1 统一的Transformer架构能否在无需独立跨模态学习模块的情况下，有效学习来自视频帧与人体骨骼序列的联合表征？
• RQ2 所提出的之字形与二值化时空注意力机制相较于标准多头自注意力机制，在视觉Transformer中的时间建模能力有何提升？
• RQ3 基于共享CNN特征生成的多类别标记是否能增强模态间特征对齐与表征效率？
• RQ4 在编码器与解码器中，注意力模块（FAttn、ZAttn、BAttn）的最优配置是什么，以最大化动作识别准确率？
• RQ5 所提出的注意力机制在多大程度上确保了所有时间帧的注意力均衡，避免对最终帧的偏向？

主要发现

• 在NTU-RGB+D 120数据集上，F-Z（编码器）与F-B（解码器）配置实现了98.7%的最高准确率，优于先前的最先进方法。
• 采用之字形与二值化时空注意力机制后，所有帧的注意力得分更加均匀，而标准FAttn则严重偏向最后几帧。
• 当仅使用FAttn时，注意力得分集中在动作的最后三帧，表明对早期与中期序列动态的建模能力较差。
• 编码器中使用ZAttn、解码器中使用BAttn的组合，产生了更均衡且信息量更丰富的注意力图，尤其在动作转换阶段表现更优。
• 该模型在所有三个数据集——Penn-Action、NTU-RGB+D 60和NTU-RGB+D 120上均实现了稳定的性能提升，展现出强大的鲁棒性与泛化能力。
• 消融实验确认，层数应限制在三层以内以防止过拟合，性能在该深度达到峰值。