[论文解读] Multi-view Information Integration and Propagation for Occluded Person Re-identification

Neng Dong, Shuanglin Yan+3 more|arXiv (Cornell University)|Nov 7, 2023

Video Surveillance and Tracking Methods被引用 4

一句话总结

本文提出多视角信息融合与传播（MVI²P），一种新颖的遮挡行人重识别框架，通过融合同一行人的多个视角特征图，生成全面且抗噪的表征。通过采用CAMs感知定位与概率感知量化实现选择性、可靠的特征融合，并引入信息传播机制将知识蒸馏至单图推理，MVI²P在标准基准上实现68.2% Rank-1与55.6% mAP的最先进性能，优于复杂模型且参数量更低。

ABSTRACT

Occluded person re-identification (re-ID) presents a challenging task due to occlusion perturbations. Although great efforts have been made to prevent the model from being disturbed by occlusion noise, most current solutions only capture information from a single image, disregarding the rich complementary information available in multiple images depicting the same pedestrian. In this paper, we propose a novel framework called Multi-view Information Integration and Propagation (MVI$^{2}$P). Specifically, realizing the potential of multi-view images in effectively characterizing the occluded target pedestrian, we integrate feature maps of which to create a comprehensive representation. During this process, to avoid introducing occlusion noise, we develop a CAMs-aware Localization module that selectively integrates information contributing to the identification. Additionally, considering the divergence in the discriminative nature of different images, we design a probability-aware Quantification module to emphatically integrate highly reliable information. Moreover, as multiple images with the same identity are not accessible in the testing stage, we devise an Information Propagation (IP) mechanism to distill knowledge from the comprehensive representation to that of a single occluded image. Extensive experiments and analyses have unequivocally demonstrated the effectiveness and superiority of the proposed MVI$^{2}$P. The code will be released at \url{https://github.com/nengdong96/MVIIP}.

研究动机与目标

• 为解决遮挡行人重识别中的挑战，即单图模型因可见身体部位有限及遮挡噪声而失效。
• 利用同一行人的多个视角中互补的信息，这些信息在现有单图重识别框架中通常被忽略。
• 开发一种方法，仅选择性地融合多视角图像中可靠且具有判别性的信息，同时抑制遮挡噪声与无关内容。
• 通过在训练过程中学习全面的多视角表征，将知识蒸馏至单图推理，实现单图推理能力。
• 在极低模型复杂度下实现最先进性能，避免依赖外部模型或数据增强。

提出的方法

• 该框架通过逐元素相加的方式，将同一行人的多个视角的特征图进行融合，形成全面的表征。
• CAMs感知定位模块利用类别激活图识别并优先处理特征图中对身份具有判别性的空间区域。
• 概率感知量化模块根据预测分类置信度，为不同特征图分配动态权重，突出更可靠的信息。
• 信息传播（IP）机制在推理阶段将全面表征中的知识传递至单张遮挡图像，实现单图推理。
• 使用带有超参数λ的知识蒸馏损失，将单图特征表征与全面表征对齐，以优化身份识别准确率。
• 模型采用ResNet-50作为骨干网络，并仅引入一个额外分类器，实现26.3M的低参数量与高效率。

实验结果

研究问题

• RQ1 能否有效融合同一行人的多张图像的多视角信息，以提升遮挡重识别中的身份表征？
• RQ2 在多视角特征融合过程中，如何过滤掉噪声或无关信息（如遮挡物、非目标人员）？
• RQ3 用于融合的最佳视角数量是多少？其对性能有何影响？
• RQ4 能否有效将全面多视角表征中的知识迁移至单图推理设置？
• RQ5 与现有最先进方法相比，所提方法是否在更低模型复杂度下实现最先进性能？

主要发现

• MVI²P在Market-1501基准上实现68.2% Rank-1准确率与55.6% mAP，优于基线模型与现有最先进方法。
• 知识蒸馏的最优超参数λ为0.007，该值使Rank-1与mAP性能均达到最大。
• 融合四张视角的信息可获得最佳性能，而使用两张或八张视角时准确率略有下降，表明信息丰富性与冗余性之间存在最优平衡。
• 模型仅使用26.3M参数即达到最先进性能，显著少于FED（146.2M）与OPR-DAAO（58.2M）等方法，展现出卓越的效率。
• 即使不使用数据增强或外部模型，MVI²P仍优于UMTS*（51.3M参数，58.6% Rank-1）与IGOAS（32.6M参数，60.1% Rank-1），证明其有效性与高效性。