[论文解读] Pose-guided Visible Part Matching for Occluded Person ReID

Shang Gao, Jingya Wang+2 more|arXiv (Cornell University)|Apr 1, 2020

Video Surveillance and Tracking Methods参考文献 32被引用 27

一句话总结

本文提出了一种自监督的遮挡行人重识别方法——基于姿态引导的可见部件匹配（PVPM），通过基于图匹配的伪标签生成，联合学习姿态引导的注意力机制与部件可见性。该方法在三个基准数据集上实现了最先进性能，通过挖掘特征对应关系中的可见性分数，无需外部标注。

ABSTRACT

Occluded person re-identification is a challenging task as the appearance varies substantially with various obstacles, especially in the crowd scenario. To address this issue, we propose a Pose-guided Visible Part Matching (PVPM) method that jointly learns the discriminative features with pose-guided attention and self-mines the part visibility in an end-to-end framework. Specifically, the proposed PVPM includes two key components: 1) pose-guided attention (PGA) method for part feature pooling that exploits more discriminative local features; 2) pose-guided visibility predictor (PVP) that estimates whether a part suffers the occlusion or not. As there are no ground truth training annotations for the occluded part, we turn to utilize the characteristic of part correspondence in positive pairs and self-mining the correspondence scores via graph matching. The generated correspondence scores are then utilized as pseudo-labels for visibility predictor (PVP). Experimental results on three reported occluded benchmarks show that the proposed method achieves competitive performance to state-of-the-art methods. The source codes are available at https://github.com/hh23333/PVPM

研究动机与目标

• 解决全局特征因多样化遮挡而受损的遮挡行人重识别挑战。
• 克服现有方法依赖外部标注（如姿态或掩码数据）带来的领域偏差限制。
• 构建一个统一的端到端框架，联合优化判别性部件特征与可见性预测。
• 利用正样本对中的内在对应关系，通过图匹配实现可见性预测器的自监督训练。

提出的方法

• 引入姿态引导注意力（PGA）模块，利用姿态关键点池化部件特征，以增强判别性局部表征。
• 提出姿态引导可见性预测器（PVP），用于估计每个身体部件是否被遮挡或可见。
• 通过在正样本对上进行图匹配求解特征对应问题，生成可见性预测的伪标签。
• 利用图匹配得到的对应分数作为监督信号，以自监督方式训练可见性预测器。
• 通过可见性加权距离聚合部件级特征，计算最终匹配分数。
• 采用结合三元组排序损失与可见性预测的多任务损失，端到端优化整个网络。

实验结果

研究问题

• RQ1 基于图匹配的对应分数能否在无真实标注的情况下，有效实现可见性预测器的自监督训练？
• RQ2 与基于外观或均匀划分的方法相比，姿态引导注意力在遮挡ReID中如何提升特征判别能力？
• RQ3 所学习的可见性分数集成是否能提升遮挡ReID基准上的匹配准确率？
• RQ4 性能对超参数（如正则化系数λ和部件数Np）的敏感性如何？

主要发现

• 在Occluded-REID数据集上，PVPM达到66.8% mAP，显著优于基线方法RPP（55.8%）和R+S（51.8%）。
• 在Partial-REID上，PVPM达到75.3% mAP，超越RPP（63.7%）和R+S（59.7%），展现出对部分遮挡的强大泛化能力。
• 在P-DukeMTMC-reID上，PVPM达到50.1% mAP，显著优于RPP（40.4%）和R+S（35.6%），表明其对复杂遮挡具有鲁棒性。
• 消融实验表明，部件数（Np）增加至4个时性能提升，超过后因过度划分导致性能下降。
• 最优正则化系数λ = 0.9可实现峰值性能，证实其在平衡判别能力与可见性预测精度中的关键作用。
• 可视化结果表明，姿态引导注意力聚焦于未遮挡区域，而基于外观的方法无法适应新的遮挡模式。