[论文解读] PartMix: Regularization Strategy to Learn Part Discovery for Visible-Infrared Person Re-identification

Minsu Kim, Seungryong Kim+3 more|arXiv (Cornell University)|Apr 4, 2023

Video Surveillance and Tracking Methods被引用 4

一句话总结

本文提出 PartMix，一种用于可见光-红外行人重识别（VI-ReID）的新型数据增强技术，通过跨模态混合部件描述符来合成部件感知的增强样本。通过在身份内部和跨身份生成正样本与负样本，并结合基于熵的挖掘策略进行对比学习，PartMix 显著提升了泛化能力，在 SYSU-MM01 和 RegDB 基准测试中取得了最先进性能。

ABSTRACT

Modern data augmentation using a mixture-based technique can regularize the models from overfitting to the training data in various computer vision applications, but a proper data augmentation technique tailored for the part-based Visible-Infrared person Re-IDentification (VI-ReID) models remains unexplored. In this paper, we present a novel data augmentation technique, dubbed PartMix, that synthesizes the augmented samples by mixing the part descriptors across the modalities to improve the performance of part-based VI-ReID models. Especially, we synthesize the positive and negative samples within the same and across different identities and regularize the backbone model through contrastive learning. In addition, we also present an entropy-based mining strategy to weaken the adverse impact of unreliable positive and negative samples. When incorporated into existing part-based VI-ReID model, PartMix consistently boosts the performance. We conduct experiments to demonstrate the effectiveness of our PartMix over the existing VI-ReID methods and provide ablation studies.

研究动机与目标

• 为解决基于部件的可见光-红外行人 Re-ID 中的过拟合与模态特异性偏差问题，提出一种定制化的数据增强策略。
• 通过跨模态与模态内描述符混合，合成多样化且部件感知的增强样本，以提升泛化能力。
• 通过基于熵的挖掘策略，降低对比学习中不可靠正负样本的负面影响。
• 提升基于部件的 VI-ReID 模型中的特征对齐与模态不变表示学习能力。
• 通过有效的正则化，在标准 VI-ReID 基准测试中实现最先进性能。

提出的方法

• PartMix 通过混合来自可见光与红外图像的部件描述符（跨身份与同身份内）生成增强样本。
• 利用混合后的部件描述符生成正样本与负样本，以促进鲁棒的特征学习。
• 应用对比学习对主干网络进行正则化，使用合成的正负样本对。
• 基于熵的挖掘策略选择可靠的正负样本，以减少噪声并提升训练稳定性。
• 该方法可无缝集成到现有基于部件的 VI-ReID 模型中，无需修改网络结构，从而增强泛化能力。
• 该方法在 SYSU-MM01 与 RegDB 数据集上进行端到端评估，并辅以消融实验。

(a) MixUp [ 71 ]

实验结果

研究问题

• RQ1 在行人 Re-ID 中，混合可见光与红外模态的部件描述符是否能提升泛化能力？
• RQ2 与全局和局部图像混合方法（如 MixUp 与 CutMix）相比，PartMix 在基于部件的 VI-ReID 中表现如何？
• RQ3 基于熵的挖掘在多大程度上提升了对比学习中正负样本的可靠性？
• RQ4 PartMix 是否能有效降低基于部件的 Re-ID 模型对特定身体部位或模态的过拟合？
• RQ5 PartMix 是否能在不修改网络架构的前提下，在标准 VI-ReID 基准测试中实现最先进性能？

主要发现

• 在 SYSU-MM01 数据集的单次全集搜索模式下，PartMix 实现了 77.78% 的 Rank-1 准确率与 74.62% 的 mAP，相较于之前的 SOTA 方法 MSCLNet，Rank-1 提升 0.79%，mAP 提升 2.98%。
• 在 SYSU-MM01 户内搜索设置下，PartMix 相较于 MSCLNet 将 Rank-1 准确率提升 3.03%，mAP 提升 3.21%。
• 在 RegDB 数据集上，红外到可见光模式下，PartMix 实现 84.93% 的 Rank-1 与 82.52% 的 mAP，分别超越 MSCLNet 1.07% 与 4.21%。
• 在 RegDB 的可见光到红外模式下，PartMix 实现 85.66% 的 Rank-1 与 82.27% 的 mAP，分别超越 MSCLNet 1.49% 与 1.28%。
• PartMix 显著优于 MixUp、Manifold MixUp 与 CutMix，在 SYSU-MM01 多次全集搜索设置下，mAP 相较 CutMix 提升 5.08%。
• 消融实验验证了部件描述符混合策略与基于熵的挖掘组件在提升性能方面的有效性。

(b) CutMix [ 70 ]