[论文解读] Prototypical Contrast and Reverse Prediction: Unsupervised Skeleton Based Action Recognition

Shihao Xu, Haocong Rao+2 more|arXiv (Cornell University)|Nov 14, 2020

Human Pose and Action Recognition参考文献 45被引用 10

一句话总结

本文提出原型对比与反向预测（PCRP），一种新颖的无监督骨架动作识别框架，通过动作原型联合学习高层语义与通过反向序列预测学习低层运动模式。通过将学习过程形式化为期望最大化算法，PCRP在N-UCLA、NTU60和NTU120数据集上达到最先进性能，超越多个有监督方法。

ABSTRACT

In this paper, we focus on unsupervised representation learning for skeleton-based action recognition. Existing approaches usually learn action representations by sequential prediction but they suffer from the inability to fully learn semantic information. To address this limitation, we propose a novel framework named Prototypical Contrast and Reverse Prediction (PCRP), which not only creates reverse sequential prediction to learn low-level information (e.g., body posture at every frame) and high-level pattern (e.g., motion order), but also devises action prototypes to implicitly encode semantic similarity shared among sequences. In general, we regard action prototypes as latent variables and formulate PCRP as an expectation-maximization task. Specifically, PCRP iteratively runs (1) E-step as determining the distribution of prototypes by clustering action encoding from the encoder, and (2) M-step as optimizing the encoder by minimizing the proposed ProtoMAE loss, which helps simultaneously pull the action encoding closer to its assigned prototype and perform reverse prediction task. Extensive experiments on N-UCLA, NTU 60, and NTU 120 dataset present that PCRP outperforms state-of-the-art unsupervised methods and even achieves superior performance over some of supervised methods. Codes are available at https://github.com/Mikexu007/PCRP.

研究动机与目标

• 为解决现有无监督方法在捕捉动作序列间高层语义相似性方面的局限性。
• 通过无监督联合建模低层运动模式与高层语义结构，提升表征学习效果。
• 开发一种通过可学习动作原型隐式编码语义相似性的框架。
• 在标准骨架动作识别基准上，超越现有无监督方法，甚至超越部分有监督基线方法。

提出的方法

• 该框架将表征学习形式化为期望最大化（EM）过程，其中E步对编码器输出进行k-means聚类，将动作编码分配给原型。
• M步通过最小化一种名为ProtoMAE的新损失函数来优化编码器，该损失函数结合了对比学习与掩码自编码。
• ProtoMAE促使动作编码靠近其分配的原型，同时强制执行反向序列预测以捕捉运动顺序。
• 将动作原型视为隐变量，通过迭代更新编码器，以在每个原型周围高斯假设下最大化观测数据的似然。
• 该方法使用Uni-GRU编码器和独立的解码器进行反向预测，训练期间仅对编码器应用反向传播。
• 该框架以交替EM方式端到端训练，迭代重复聚类与损失最小化过程。

实验结果

研究问题

• RQ1 原型对比能否通过建模动作序列间的语义相似性，提升无监督骨架动作识别性能？
• RQ2 在无标签条件下，反向序列预测是否能增强对低层运动模式与时间顺序的学习？
• RQ3 原型分配与序列重建的联合优化，是否能比仅使用实例级预测或对比学习获得更好的泛化能力？
• RQ4 聚类数量与多次聚类运行（M值）如何影响最终表征质量？
• RQ5 无监督方法能否在标准基准上实现与有监督方法相当甚至更优的性能？

主要发现

• 在N-UCLA数据集上，PCRP的线性评估准确率达到86.3%，比基线高出3.7个百分点，比HBRNN高出6.5%。
• 在NTU60数据集上，PCRP在C-View设置下达到63.5%的准确率，比基线高出9.6个百分点，在某些设置下超越Deep RNN。
• 在NTU120数据集上，PCRP在C-Set设置下达到53.9%的准确率，比Part-Aware LSTM高出18.8%，比Soft RNN高出3.1%（采用相同评估协议）。
• 消融实验表明，原型对比与反向预测均具有显著贡献，二者结合时性能最佳。
• 最优聚类数与M值（聚类运行次数）因数据集而异，N-UCLA数据集上M=1且70个聚类时表现最佳。
• 模型收敛稳定，预训练过程中始终保持高准确率，表明表征学习具有强鲁棒性与一致性。