[论文解读] Spatiotemporal Decouple-and-Squeeze Contrastive Learning for Semi-Supervised Skeleton-based Action Recognition

Binqian Xu, Xiangbo Shu|arXiv (Cornell University)|Feb 5, 2023

Human Pose and Action Recognition被引用 5

一句话总结

本文提出了一种新颖的半监督骨架动作识别框架——时空解耦与压缩对比学习（SDS-CL），通过时空解耦的内部-跨模态注意力（SIIA）机制分离空间与时间特征，并利用三种专用对比损失联合对比空间压缩、时间压缩和全局特征。SDS-CL在四个公开数据集上达到最先进性能，在NTU RGB+D数据集上线性评估准确率达到73.6%，微调设置下达到91.9%/97.2%，通过显式保留时空特异性，显著提升了表征学习能力。

ABSTRACT

Contrastive learning has been successfully leveraged to learn action representations for addressing the problem of semi-supervised skeleton-based action recognition. However, most contrastive learning-based methods only contrast global features mixing spatiotemporal information, which confuses the spatial- and temporal-specific information reflecting different semantic at the frame level and joint level. Thus, we propose a novel Spatiotemporal Decouple-and-Squeeze Contrastive Learning (SDS-CL) framework to comprehensively learn more abundant representations of skeleton-based actions by jointly contrasting spatial-squeezing features, temporal-squeezing features, and global features. In SDS-CL, we design a new Spatiotemporal-decoupling Intra-Inter Attention (SIIA) mechanism to obtain the spatiotemporal-decoupling attentive features for capturing spatiotemporal specific information by calculating spatial- and temporal-decoupling intra-attention maps among joint/motion features, as well as spatial- and temporal-decoupling inter-attention maps between joint and motion features. Moreover, we present a new Spatial-squeezing Temporal-contrasting Loss (STL), a new Temporal-squeezing Spatial-contrasting Loss (TSL), and the Global-contrasting Loss (GL) to contrast the spatial-squeezing joint and motion features at the frame level, temporal-squeezing joint and motion features at the joint level, as well as global joint and motion features at the skeleton level. Extensive experimental results on four public datasets show that the proposed SDS-CL achieves performance gains compared with other competitive methods.

研究动机与目标

• 为解决现有对比学习方法在骨架动作识别中的局限性，即全局特征中混合了空间与时间信息，导致帧级与关节级语义混淆。
• 通过显式捕捉并对比空间特异性和时间特异性特征，提升半监督设置下的表征学习能力。
• 设计一个统一框架，通过新颖的注意力机制与对比损失机制，联合优化空间压缩、时间压缩与全局表征。
• 在3D与2D骨架数据集上验证时空解耦的有效性，包括Kinetics-Skeleton等具有挑战性的基准数据集。

提出的方法

• 提出一种时空解耦的内部-跨模态注意力（SIIA）机制，用于在关节特征与运动特征之间计算空间与时间解耦的内部注意力图，以及它们之间的跨模态注意力图。
• 引入一种空间压缩-时间对比损失（STL），用于在帧级别对比关节与运动模态的空间压缩特征。
• 引入一种时间压缩-空间对比损失（TSL），用于在关节级别对比关节与运动模态的时间压缩特征。
• 引入一种全局对比损失（GL），用于在骨架级别对比全局特征，以保留整体动作表征。
• 联合使用STL、TSL与GL三种对比损失，对未配对或弱标签化的骨架序列进行自监督训练。
• 在NTU RGB+D与Kinetics-Skeleton等多个数据集上，分别采用预训练+线性评估与预训练+微调两种协议应用该框架。

实验结果

研究问题

• RQ1 解耦空间与时间表征是否能提升半监督骨架动作识别性能？
• RQ2 在帧级别对比空间压缩特征、在关节级别对比时间压缩特征，是否比仅使用全局对比学习带来更好的表征学习效果？
• RQ3 所提出的时空解耦内部-跨模态注意力（SIIA）机制在捕捉模态特异性空间与时间动态方面是否有效？
• RQ4 SDS-CL框架是否能泛化至2D骨架序列，并在Kinetics-Skeleton等大规模数据集上取得竞争力表现？
• RQ5 联合优化多种对比信号（空间、时间、全局）是否优于单一或双对比方法？

主要发现

• 在预训练+线性评估协议下，SDS-CL在NTU RGB+D数据集上分别取得73.6%与78.9%的准确率，优于先前SOTA方法如CrosSCLR（72.9%/79.9%）与3s-Colorization（88.0%/94.9%）的微调结果。
• 在预训练+微调协议下，3s-SDS-CL在NTU RGB+D数据集上分别取得91.9%与97.2%的准确率，较3s-Colorization在CS与CV划分上分别高出3.9与2.3个百分点。
• 在Kinetics-Skeleton数据集上，SDS-CL取得37.3%的准确率，优于GCN-NAS（37.1%），展现出对2D骨架序列的强大泛化能力。
• 消融实验证实，STL、TSL与GL损失的组合带来持续的性能提升，且每种损失在表征学习中均发挥独特作用。
• SIIA机制能有效捕捉模态特异性空间与时间依赖关系，表现为在需要精细空间区分（如‘双手相互摩擦’）或时间区分（如‘坐下’）的动作中性能显著提升。
• 该框架对数据模态具有鲁棒性，在关节、运动与骨骼特征上均表现良好，且在3D与2D骨架输入间展现出强大的迁移能力。