[论文解读] SimMC: Simple Masked Contrastive Learning of Skeleton Representations for Unsupervised Person Re-Identification

Haocong Rao, Chunyan Miao|arXiv (Cornell University)|Apr 21, 2022

Video Surveillance and Tracking Methods被引用 4

一句话总结

该论文提出 SimMC，一种用于使用 3D 骨骼序列进行无监督行人重识别的简单掩码对比学习框架。通过利用掩码原型对比学习（MPC）来聚类代表性特征，以及利用掩码序列内对比学习（MIC）来利用运动连续性，SimMC 在无标签情况下学习判别性骨骼表征，在多个基准测试中取得最先进性能，包括在 CASIA-B 数据集上达到 42.5% 的 top-1 准确率，较 SM-SGE 提升 5.6%。

ABSTRACT

Recent advances in skeleton-based person re-identification (re-ID) obtain impressive performance via either hand-crafted skeleton descriptors or skeleton representation learning with deep learning paradigms. However, they typically require skeletal pre-modeling and label information for training, which leads to limited applicability of these methods. In this paper, we focus on unsupervised skeleton-based person re-ID, and present a generic Simple Masked Contrastive learning (SimMC) framework to learn effective representations from unlabeled 3D skeletons for person re-ID. Specifically, to fully exploit skeleton features within each skeleton sequence, we first devise a masked prototype contrastive learning (MPC) scheme to cluster the most typical skeleton features (skeleton prototypes) from different subsequences randomly masked from raw sequences, and contrast the inherent similarity between skeleton features and different prototypes to learn discriminative skeleton representations without using any label. Then, considering that different subsequences within the same sequence usually enjoy strong correlations due to the nature of motion continuity, we propose the masked intra-sequence contrastive learning (MIC) to capture intra-sequence pattern consistency between subsequences, so as to encourage learning more effective skeleton representations for person re-ID. Extensive experiments validate that the proposed SimMC outperforms most state-of-the-art skeleton-based methods. We further show its scalability and efficiency in enhancing the performance of existing models. Our codes are available at https://github.com/Kali-Hac/SimMC.

研究动机与目标

• 解决监督学习和手工设计骨架方法在行人重识别中因需要昂贵标注和领域特定建模而存在的局限性。
• 开发一种通用的、无需标签的框架，直接从原始 3D 骨骼序列中学习判别性骨架表征。
• 通过利用无标签数据中原型间相似性和序列内运动一致性，提升表征学习效果。
• 提升与现有模型及基于 RGB 的骨架估计流程的可扩展性和兼容性。

提出的方法

• 提出掩码原型对比学习（MPC），将从原始骨架序列中随机掩码的子序列表征，与学习到的骨架原型进行对比聚类。
• 使用实例-原型对比损失，将相似样本拉近、不同样本推远，实现自监督特征学习。
• 引入掩码序列内对比学习（MIC），以捕捉时间相邻子序列之间的模式一致性，利用运动连续性。
• 采用多层感知机（MLP）主干网络，架构复杂度极低，可直接处理原始 3D 关节坐标。
• 应用随机掩码策略以增强训练数据并提高对序列变化的鲁棒性。
• 通过可学习权重（λ）融合 MPC 和 MIC 损失，联合优化判别性和一致性表征学习。

实验结果

研究问题

• RQ1 无监督对比学习框架能否在无需任何人工标注的情况下，有效学习用于行人重识别的判别性骨架表征？
• RQ2 如何利用掩码子序列表征来发现并对比典型骨架原型，以改善特征学习？
• RQ3 建模序列内运动一致性在多大程度上能提升所学骨架表征的质量？
• RQ4 与最先进监督和自监督骨架基行人重识别方法相比，所提出的 SimMC 框架在准确率和泛化能力方面表现如何？
• RQ5 SimMC 能否有效应用于从 RGB 视频估计的骨架序列中？在微调现有模型时是否能提升性能？

主要发现

• 在 CASIA-B 数据集上，SimMC 达到 42.5% 的 top-1 准确率，较最先进方法 SM-SGE 提升 5.6 个百分点。
• 在 KS20 和 BIWI 数据集上，与 SM-SGE 相比，SimMC 分别将 mAP 提升 8.6% 和 0.4%，展现出强大的泛化能力。
• 消融实验表明，仅使用 MPC 即可使 top-1 准确率提升 9.8% 至 47.8%，验证了其在挖掘代表性特征方面的有效性。
• 在 MPC 基础上增加 MIC 可使 top-1 准确率进一步提升 0.8% 至 2.5%，mAP 提升 0.2% 至 1.2%，证明序列内一致性学习能有效提升表征质量。
• t-SNE 可视化显示，与 AGE 和 SM-SGE 相比，SimMC 学习到的表征更具可分性且熵更低，表明其语义更丰富、聚类效果更优。
• 该框架对超参数变化具有鲁棒性，尤其对温度 τ 和掩码策略不敏感，且在 MPC 与 MIC 的适当融合（λ）下可达到最优性能。