[论文解读] RGB-Infrared Cross-Modality Person Re-Identification via Joint Pixel and Feature Alignment

Guan’an Wang, Tianzhu Zhang+4 more|arXiv (Cornell University)|Oct 13, 2019

Video Surveillance and Tracking Methods参考文献 32被引用 59

一句话总结

提出 AlignGAN，一种用于 RGB-IR Re-ID 的像素级和特征级对齐联合 GAN，它将 RGB 转换为假 IR，并在一个联合判别器下学习身份保持、模态不变的特征。它在 SYSU-MM01 和 RegDB 上达到最先进的结果。

ABSTRACT

RGB-Infrared (IR) person re-identification is an important and challenging task due to large cross-modality variations between RGB and IR images. Most conventional approaches aim to bridge the cross-modality gap with feature alignment by feature representation learning. Different from existing methods, in this paper, we propose a novel and end-to-end Alignment Generative Adversarial Network (AlignGAN) for the RGB-IR RE-ID task. The proposed model enjoys several merits. First, it can exploit pixel alignment and feature alignment jointly. To the best of our knowledge, this is the first work to model the two alignment strategies jointly for the RGB-IR RE-ID problem. Second, the proposed model consists of a pixel generator, a feature generator, and a joint discriminator. By playing a min-max game among the three components, our model is able to not only alleviate the cross-modality and intra-modality variations but also learn identity-consistent features. Extensive experimental results on two standard benchmarks demonstrate that the proposed model performs favorably against state-of-the-art methods. Especially, on SYSU-MM01 dataset, our model can achieve an absolute gain of 15.4% and 12.9% in terms of Rank-1 and mAP.

研究动机与目标

• 通过联合对齐像素和特征表示，缩小 RGB-IR 跨模态差距。
• 从 RGB 输入生成身份保持的假 IR 图像以减少跨模态差异。
• 在端到端框架中使用联合判别器在跨模态学习身份一致的特征。

提出的方法

• 引入一个像素对齐模块，包含一个基于 GAN 的生成器 Gp，将 RGB 转换为假 IR 图像，并加入循环一致性约束。
• 引入一个特征对齐模块，包含一个基于 CNN 的生成器 Gf，将假 IR 图像和真实 IR 图像嵌入到共享空间，使用分类损失和三元组损失，并在特征空间加入 GAN 损失。
• 使用一个联合判别器 Dj，对图像-特征对进行判别，强制真实对具有身份一致性，同时惩罚不匹配，引导 Gp 和 Gf。
• 通过 Dj 与结合的 P 和 F 模块之间的最小-最大博弈进行训练，使跨模态和模态内变异性降低，并学习身份保持的特征。

实验结果

研究问题

• RQ1 RGB 转换成 IR 的像素级翻译能否降低 RGB-IR Re-ID 的跨模态差异？
• RQ2 与仅特征对齐方法相比，使用共享判别器的像素和特征联合对齐是否提升身份一致性和再识别准确率？
• RQ3 循环一致性、身份分类和三元组损失如何有助于 RGB-IR 数据中稳健的跨模态匹配？

主要发现

• AlignGAN 在 SYSU-MM01 上超越了最先进方法，在 Rank-1 和 mAP 上取得显著提升。
• 像素对齐 (Gp) 显著提升 Rank-1 相较基线，效果高于独立的特征对齐。
• 联合判别器的引导提升了跨模态学习到的特征的身份一致性。
• 在 RegDB 上，AlignGAN 在热到可见及可见到热设置中均实现了显著的 Rank-1 和 mAP 提升。
• 消融研究证实像素对齐、特征对齐和联合判别器的有效性。