[论文解读] Subspace clustering for action recognition with covariance representations and temporal pruning

Cigdem Beyan|arXiv (Cornell University)|Jan 1, 2021

Human Pose and Action Recognition参考文献 63被引用 34

一句话总结

该论文提出了一种用于人体动作识别的无监督子空间聚类框架，通过协方差表示和时间剪枝来增强判别能力并处理序列数据。通过使用协方差矩阵编码骨骼序列，并结合带时间剪枝的稀疏子空间聚类，该方法在无监督方法中达到最先进性能，并在多个基准上缩小了与有监督方法的差距。

ABSTRACT

This paper tackles the problem of human action recognition, defined as classifying which action is displayed in a trimmed sequence, from skeletal data. Albeit state-of-the-art approaches designed for this application are all supervised, in this paper we pursue a more challenging direction: solving the problem with unsupervised learning. To this end, we propose a novel subspace clustering method, which exploits covariance matrix to enhance the action's discriminability and a times-tamp pruning approach that allow us to better handle the temporal dimension of the data. Through a broad experimental validation, we show that our computational pipeline surpasses existing unsupervised approaches but also can result in favorable performances as compared to the supervised methods. The code is available here: https://github.com/IIT-PAVIS/subspace-clustering-action-recognition

研究动机与目标

• 为实现完全无监督的人体动作识别，避免昂贵的手动标注。
• 通过协方差表示增强判别能力，提升骨骼序列上的子空间聚类性能。
• 通过剪枝不具信息量的时间戳来管理动作序列的时间复杂度。
• 证明无监督方法可实现与或优于有监督最先进方法的性能。

提出的方法

• 从骨骼关节点轨迹计算协方差矩阵，以编码二阶统计量并提升特征判别能力。
• 通过稀疏子空间聚类（SSC）实施时间剪枝，以选择代表性时间戳，将序列长度减少至固定时长。
• 该方法结合协方差编码与基于自表达模型和时间拉普拉斯正则化的子空间聚类。
• 评估了两种变体：(1) temporalSSC，在聚类前剪枝时间戳；(2) 基于TSC的方法，采用字典学习和时间正则化。
• 该流程在八个具有不同动作类型、类别数量和采集协议的多样化数据集上进行评估。
• 性能通过聚类准确率进行评估，并与无监督基线方法及有监督最先进方法进行比较。

实验结果

研究问题

• RQ1 协方差表示能否显著提升骨骼数据中无监督动作识别的性能？
• RQ2 通过子空间聚类进行时间剪枝是否能通过减少动作序列中的噪声和冗余来提升聚类准确率？
• RQ3 无监督子空间聚类流程能否实现与或优于有监督最先进方法的性能？
• RQ4 不同时间剪枝策略（基于百分比与基于阈值）在多样化数据集上的聚类结果有何影响？

主要发现

• 所提方法在八个数据集上平均聚类准确率达到88.32%，优于所有无监督基线方法。
• 在MSRC数据集上，该方法达到99.00%的准确率，超过有监督最先进方法的98.50%。
• 通过SSC进行时间剪枝在各数据集上平均性能提升达8%，在最大数据集（MSRC）上提升达21%。
• 基于TSC的方法结合字典学习和时间拉普拉斯正则化，实现了整体最优的无监督性能，平均准确率达89.81%。
• 在八个数据集中的五个，EnSC-based方法优于所有其他无监督方法约5%。
• 令人惊讶的是，无监督流程在MSRC和MSRP上优于有监督最先进方法，表明无监督学习在HAR中的潜力。