[论文解读] Multi-Scale Body-Part Mask Guided Attention for Person Re-identification

Honglong Cai, Zhiguan Wang+1 more|arXiv (Cornell University)|Apr 24, 2019

Video Surveillance and Tracking Methods参考文献 40被引用 6

一句话总结

本文提出了一种多尺度人体部位掩码引导注意力网络（MMGA），通过在训练过程中使用上半身和下半身掩码来引导注意力学习，从而提升行人重识别性能。该方法能够精确定位显著人体部位，减少背景杂波和姿态变化的干扰。在Market1501数据集上，MMGA达到95.0%的rank-1和87.2%的mAP；在DukeMTMC-reID数据集上，达到89.5%的rank-1和78.1%的mAP，性能优于以往基于注意力的模型，且仅在训练阶段需要掩码输入。

ABSTRACT

Person re-identification becomes a more and more important task due to its wide applications. In practice, person re-identification still remains challenging due to the variation of person pose, different lighting, occlusion, misalignment, background clutter, etc. In this paper, we propose a multi-scale body-part mask guided attention network (MMGA), which jointly learns whole-body and part body attention to help extract global and local features simultaneously. In MMGA, body-part masks are used to guide the training of corresponding attention. Experiments show that our proposed method can reduce the negative influence of variation of person pose, misalignment and background clutter. Our method achieves rank-1/mAP of 95.0%/87.2% on the Market1501 dataset, 89.5%/78.1% on the DukeMTMC-reID dataset, outperforming current state-of-the-art methods.

研究动机与目标

• 解决行人重识别中姿态变化、遮挡、背景杂波和错位等挑战。
• 通过注意力机制联合捕捉全局与局部判别性特征，提升特征学习能力。
• 通过训练阶段使用人体部位掩码引导注意力，减少对背景区域的依赖。
• 通过在推理阶段无需掩码输入，保持高效的推理性能。
• 探索多尺度、部位特异性掩码在提升基于注意力的特征提取方面的有效性。

提出的方法

• 该方法提出一种多尺度人体部位掩码引导注意力网络（MMGA），利用整体人体、上半身和下半身掩码来引导对应注意力模块的训练。
• 通过在中线处分割整体人体掩码，生成上半身和下半身掩码，实现部位特异性注意力学习。
• 通过这些掩码对注意力图进行监督优化，引导网络聚焦于显著人体区域并抑制背景噪声。
• 注意力机制仅在训练阶段应用，使模型在推理阶段可高效部署，无需输入掩码。
• 网络架构集成了全局注意力头与基于部位的注意力头，通过掩码引导监督进行训练，以增强特征判别能力。
• 该方法与标准预训练的ResNet主干网络兼容，避免了先前工作中常见的架构不兼容问题。

Figure 1: Examples of challenges in person re-identification and how our attention mechanism can handle the challenges. (a-b) occlusions, (c-d) inaccurate bounding-box detection, (e-f) variation of pose. The second to forth images in each group are the global attention map in original image, upper-b

实验结果

研究问题

• RQ1 多尺度人体部位掩码能否提升行人重识别中基于注意力的特征学习？
• RQ2 部位特异性掩码引导是否能减轻背景杂波和姿态变化的负面影响？
• RQ3 使用部位掩码训练的注意力网络是否优于仅使用整体人体掩码的模型？
• RQ4 在使用掩码引导注意力的同时，能否保持高推理效率？
• RQ5 掩码引导注意力方法与当前最先进重识别模型相比表现如何？

主要发现

• 在Market1501数据集上，MMGA达到95.0%的rank-1和87.2%的mAP，相比当前最先进方法MGN在mAP上提升+0.3%。
• 在DukeMTMC-reID数据集上，MMGA达到89.5%的rank-1和78.1%的mAP，rank-1指标超过MGN +0.8%，mAP指标持平。
• 消融实验表明，使用上半身和下半身掩码相比整体人体掩码基线（WMGA），mAP提升+0.7%，rank-1提升+0.8%。
• 与分割掩码基线（DMGA）相比，MMGA在Market1501上mAP降低-0.6%，在DukeMTMC-reID上降低-0.9%，表明语义人体部位掩码更具优势。
• 在边界框标注不准确或存在严重遮挡的图像上，MMGA仍保持高精度，定性结果表明对具有挑战性的查询能正确检索出top-5结果。
• MMGA在实现最先进性能的同时，比MGN等模型更高效，后者使用三个独立的ResNet50分支且无参数共享。

Figure 2: Split mask from the middle-line may suffer misalignment problem. The first row shows the original images, the second row shows whole-body masks. The left pair of the third row is the result of divide whole-body mask into upper-half part and bottom-half part according to the middle line. Th