[论文解读] Parallel Augmentation and Dual Enhancement for Occluded Person Re-identification

Zi wang, Huaibo Huang+3 more|arXiv (Cornell University)|Oct 11, 2022

Video Surveillance and Tracking Methods被引用 4

一句话总结

本文提出PADE，一种新颖的遮挡行人重识别方法，结合并行增强机制（PAM）与双重增强策略（DES）。PAM并行生成图像三元组（原始图、擦除图、裁剪图）以解决数据不平衡问题，而DES则交互式地增强全局与局部特征。PADE在五个Re-ID数据集上实现了最先进性能，且无需辅助标注或预训练模型。

ABSTRACT

Occluded person re-identification (Re-ID), the task of searching for the same person's images in occluded environments, has attracted lots of attention in the past decades. Recent approaches concentrate on improving performance on occluded data by data/feature augmentation or using extra models to predict occlusions. However, they ignore the imbalance problem in this task and can not fully utilize the information from the training data. To alleviate these two issues, we propose a simple yet effective method with Parallel Augmentation and Dual Enhancement (PADE), which is robust on both occluded and non-occluded data and does not require any auxiliary clues. First, we design a parallel augmentation mechanism (PAM) to generate more suitable occluded data to mitigate the negative effects of unbalanced data. Second, we propose the global and local dual enhancement strategy (DES) to promote the context information and details. Experimental results on three widely used occluded datasets and two non-occluded datasets validate the effectiveness of our method. The code is available at https://github.com/littleprince1121/PADE_Parallel_Augmentation_and_Dual_Enhancement_for_Occluded_Person_ReID

研究动机与目标

• 解决遮挡行人Re-ID中训练与测试数据不平衡的问题，即训练中遮挡罕见，但查询中遮挡常见。
• 通过生成多样化的增强训练样本，提升模型在遮挡与非遮挡数据上的鲁棒性。
• 通过交互式增强特征表示中的全局上下文与局部细节，提升判别能力。
• 开发一种即插即用的方法，无需依赖姿态、分割或遮挡预测的额外标注或预训练模型。

提出的方法

• 提出并行增强机制（PAM），同时对图像应用基础增强（缩放）、擦除增强（随机物体遮挡）与裁剪增强（不规则裁剪），生成图像三元组：[I_base, I_erased, I_cropped]。
• 使用参数共享的ViT-based主干网络，从三元组中的所有三张图像提取全局特征。
• 实施双重增强策略（DES），首先利用全局上下文增强局部特征，随后利用增强后的局部细节优化全局特征。
• 以两个顺序步骤执行增强过程：(1) 局部特征通过全局特征增强，(2) 全局特征利用增强后的局部特征进行优化。
• 通过将PAM与DES设计为模块化结构，确保方法与现有Re-ID模型兼容，可轻松嵌入。
• 采用三元组对比损失端到端训练模型，以优化特征判别能力。

实验结果

研究问题

• RQ1 一种并行生成多样化遮挡与非遮挡样本的数据增强策略，能否提升模型在数据不平衡的遮挡Re-ID数据上的泛化能力？
• RQ2 全局上下文与局部细节之间的交互式增强，是否优于孤立增强？
• RQ3 所提方法能否在不依赖辅助标注或外部模型的前提下实现最先进性能？
• RQ4 在真实场景中，随着遮挡程度逐渐增加，该方法的鲁棒性如何？

主要发现

• PADE在五个Re-ID数据集上实现最先进性能，包括三个遮挡数据集与两个非遮挡基准。
• 在Occluded-Duke数据集上，PADE达到82.8% mAP与91.3% Rank-1准确率，优于先前最先进方法。
• 消融实验表明，PAM与DES均贡献显著，其中PAM单独使mAP提升5.2%，DES进一步提升3.0%。
• 在DukeMTMC-reID上测试不同遮挡程度（最高达100%）时，PADE保持优越性能，mAP达62.2%，Rank-1达81.2%，显著优于ViT base与TransReID。
• 在OSNet、ViT base与TransReID中，将标准增强替换为PAM后，所有模型性能均一致提升。
• 该方法对意外遮挡具有鲁棒性，并在不同数据集与主干网络架构间具有良好泛化能力。