[论文解读] Pose-guided Inter- and Intra-part Relational Transformer for Occluded Person Re-Identification

Zhongxing Ma, Yifan Zhao+1 more|arXiv (Cornell University)|Sep 8, 2021

Video Surveillance and Tracking Methods参考文献 52被引用 10

一句话总结

该论文提出了一种姿态引导的跨部分与内部部分关系Transformer（PIRT），用于遮挡下的行人重识别，通过关键点引导的特征分组和双Transformer模块，建模局部部分关系与跨部分相关性。该方法在Occluded-DukeMTMC数据集上取得了最先进性能，mAP为50.90%，Rank-1准确率为60.00%。

ABSTRACT

Person Re-Identification (Re-Id) in occlusion scenarios is a challenging problem because a pedestrian can be partially occluded. The use of local information for feature extraction and matching is still necessary. Therefore, we propose a Pose-guided inter-and intra-part relational transformer (Pirt) for occluded person Re-Id, which builds part-aware long-term correlations by introducing transformers. In our framework, we firstly develop a pose-guided feature extraction module with regional grouping and mask construction for robust feature representations. The positions of a pedestrian in the image under surveillance scenarios are relatively fixed, hence we propose an intra-part and inter-part relational transformer. The intra-part module creates local relations with mask-guided features, while the inter-part relationship builds correlations with transformers, to develop cross relationships between part nodes. With the collaborative learning inter- and intra-part relationships, experiments reveal that our proposed Pirt model achieves a new state of the art on the public occluded dataset, and further extensions on standard non-occluded person Re-Id datasets also reveal our comparable performances.

研究动机与目标

• 解决严重遮挡下行人重识别的挑战，由于身体部位缺失或损坏，全局特征不可靠。
• 克服现有方法依赖弱定位或错位局部特征的局限性，原因在于关键点检测不准确或缺乏结构建模。
• 通过双分支Transformer架构融合姿态引导的局部特征与长距离依赖关系，提升特征表示能力。
• 通过注意力机制建模内部部分（局部）与跨部分（跨部分）关系，增强对遮挡的鲁棒性。
• 在遮挡Re-ID基准上实现最先进性能，同时在标准Re-ID数据集中也具有良好泛化能力。

提出的方法

• 引入一种姿态引导的特征提取模块，利用预训练的关键点检测器定位身体部位，并将关键点区域扩展为更大的掩码，以实现鲁棒的特征学习。
• 将关键点区域划分为三个语义部分组（例如头部、躯干、腿部），以形成稳定且具备上下文感知能力的局部特征。
• 设计一种内部部分关系Transformer，通过掩码引导的特征和自注意力机制，学习每组内部部分之间的相关性。
• 开发一种跨部分关系Transformer，通过部分节点之间的交叉注意力机制，建模分组后各部分之间的跨部分关系。
• 整合查询图像和检索图像的置信度分数，以优化匹配决策，提升在不同遮挡水平下的鲁棒性。
• 采用三元组损失与交叉熵损失的组合进行模型训练，以优化全局与局部特征表示。

实验结果

研究问题

• RQ1 如何有效分组并增强姿态引导的局部特征，以提升在遮挡下的鲁棒性？
• RQ2 通过Transformer实现的内部部分与跨部分关系建模，在遮挡行人Re-ID中能在多大程度上提升特征表示能力？
• RQ3 在该任务中，为平衡准确率与计算效率，最优的Transformer模块数量是多少？
• RQ4 查询图像与检索图像的置信度分数在部分遮挡条件下如何影响匹配性能？
• RQ5 所提方法是否能泛化到非遮挡数据集，并在标准Re-ID基准上实现具有竞争力的性能？

主要发现

• 所提出的PIRT模型在Occluded-DukeMTMC数据集上达到新的最先进水平，mAP为50.90%，Rank-1准确率为60.00%。
• 消融实验表明，同时使用内部部分与跨部分关系Transformer的模型性能最高，优于仅使用其一或两者皆无的模型。
• 与不使用置信度分数相比，同时使用查询与检索图像的置信度分数可使mAP提升2.71%。
• 使用三个Transformer模块的模型达到最优性能，而更深的网络（如四个模块）由于训练不稳定性导致mAP略有下降。
• 该方法在非遮挡数据集上也表现出良好的泛化能力，在标准Re-ID基准上取得了与现有SOTA方法相当的竞争力结果。
• 可视化结果证实，内部部分关系模块能有效捕捉分组后身体部位内部的结构模式，增强判别性特征学习。