[论文解读] Towards a Deeper Understanding of Skeleton-based Gait Recognition

Torben Teepe, Johannes Gilg+3 more|arXiv (Cornell University)|Apr 16, 2022

Gait Recognition and Analysis被引用 8

一句话总结

本文提出了一种基于图卷积网络（GCN）的新型骨架动作识别架构，通过利用多分支输入（关节、运动和骨骼）以及残差连接，实现了最先进性能。在OUMVLP-Pose数据集上，其性能相比先前方法提升了3倍，并通过聚焦于脚部和手部等动态外周肢体关节，展现出强大的时序建模能力。

ABSTRACT

Gait recognition is a promising biometric with unique properties for identifying individuals from a long distance by their walking patterns. In recent years, most gait recognition methods used the person's silhouette to extract the gait features. However, silhouette images can lose fine-grained spatial information, suffer from (self) occlusion, and be challenging to obtain in real-world scenarios. Furthermore, these silhouettes also contain other visual clues that are not actual gait features and can be used for identification, but also to fool the system. Model-based methods do not suffer from these problems and are able to represent the temporal motion of body joints, which are actual gait features. The advances in human pose estimation started a new era for model-based gait recognition with skeleton-based gait recognition. In this work, we propose an approach based on Graph Convolutional Networks (GCNs) that combines higher-order inputs, and residual networks to an efficient architecture for gait recognition. Extensive experiments on the two popular gait datasets, CASIA-B and OUMVLP-Pose, show a massive improvement (3x) of the state-of-the-art (SotA) on the largest gait dataset OUMVLP-Pose and strong temporal modeling capabilities. Finally, we visualize our method to understand skeleton-based gait recognition better and to show that we model real gait features.

研究动机与目标

• 为解决基于轮廓的动作识别方法在衣物、遮挡和外观伪影方面的敏感性问题，通过转向基于模型的骨架表示来改进。
• 提升基于骨架的动作识别性能，尽管该方法在鲁棒性和运动关注方面具有优势，但其性能仍落后于基于外观的方法。
• 通过可视化和消融实验，深入理解模型学习到的动作表征，确认模型捕捉的是真实动作特征而非视觉重识别线索。
• 展示该方法在姿态估计器质量方面的可扩展性，表明在不同关键点检测器上均能保持一致的性能提升。

提出的方法

• 该方法采用多分支GCN架构，处理三种类型的骨架输入：原始关节坐标、关节运动矢量和骨骼矢量。
• 每个分支使用图卷积网络处理时序序列，以建模人体骨架中的空间和时序依赖性。
• 在每个分支中应用残差连接，以稳定训练并改善梯度流动，从而增强模型深度和性能。
• 使用预计算的时序信息，相比端到端学习运动特征，可加速训练并提高稳定性。
• 模型采用交叉熵损失进行训练，并在测试时应用测试时间增强（TTA），以提升在未见视角下的泛化能力。
• 通过激活可视化技术计算关节激活图，以解释模型在推理过程中关注的身体部位。

实验结果

研究问题

• RQ1 与先前方法相比，基于GCN的多分支输入处理架构是否能显著提升基于骨架的动作识别性能？
• RQ2 从激活模式来看，该模型在多大程度上学习的是真实动作特征而非基于外观的线索？
• RQ3 当姿态估计器质量变化时（如AlphaPose与OpenPose相比），该模型的性能如何变化？
• RQ4 与现有基于图的动作风格识别模型相比，该架构是否展现出更优的时序建模能力？
• RQ5 该模型是否能在不同视角下保持泛化能力，并对衣物或携带物品引起的动作变化保持鲁棒性？

主要发现

• 在OUMVLP-Pose数据集的跨视角协议下，该方法实现了63.1%的rank-1准确率，相比之前最先进方法提升了3倍。
• 在CASIA-B数据集上，该方法在跨视角设置下实现了72.8%的rank-1准确率，表明其在不同数据集间具有强大的泛化能力。
• 关节激活可视化显示，该模型主要关注动态的外周肢体关节，尤其是脚部和手部，证实其学习到了真实的动作运动特征。
• 网络对运动幅度较大的关节（如摆动腿）赋予更高的激活值，表明其能有效建模步态周期的时序特性。
• 该模型在不同姿态估计器（AlphaPose和OpenPose）上均表现出一致的性能提升，表明其对关键点检测精度的提升具有可扩展性。
• 消融实验确认，多分支设计（关节、运动、骨骼）对性能至关重要，各组件均对鲁棒的特征学习有贡献。