[论文解读] RGB-IR Cross-modality Person ReID based on Teacher-Student GAN Model

Ziyue Zhang, Shuai Jiang+3 more|arXiv (Cornell University)|Jul 15, 2020

Video Surveillance and Tracking Methods参考文献 35被引用 9

一句话总结

该论文提出了一种教师-学生生成对抗网络模型（TS-GAN），用于RGB-IR跨模态行人重识别，通过预训练的IR ReID教师模型，利用多层次特征蒸馏和循环一致性生成的IR图像，指导学生ReID主干网络。该方法在SYSU-MM01基准上实现了49.8%的Rank-1和47.4%的mAP，优于当前最先进方法，且推理效率高，推理时仅使用主干网络。

ABSTRACT

RGB-Infrared (RGB-IR) person re-identification (ReID) is a technology where the system can automatically identify the same person appearing at different parts of a video when light is unavailable. The critical challenge of this task is the cross-modality gap of features under different modalities. To solve this challenge, we proposed a Teacher-Student GAN model (TS-GAN) to adopt different domains and guide the ReID backbone to learn better ReID information. (1) In order to get corresponding RGB-IR image pairs, the RGB-IR Generative Adversarial Network (GAN) was used to generate IR images. (2) To kick-start the training of identities, a ReID Teacher module was trained under IR modality person images, which is then used to guide its Student counterpart in training. (3) Likewise, to better adapt different domain features and enhance model ReID performance, three Teacher-Student loss functions were used. Unlike other GAN based models, the proposed model only needs the backbone module at the test stage, making it more efficient and resource-saving. To showcase our model's capability, we did extensive experiments on the newly-released SYSU-MM01 RGB-IR Re-ID benchmark and achieved superior performance to the state-of-the-art with 49.8% Rank-1 and 47.4% mAP.

研究动机与目标

• 解决监控场景中RGB与红外（IR）行人图像之间显著的跨模态领域差距。
• 克服行人ReID中IR图像信息有限与模态差异的挑战。
• 减少对成对训练数据的依赖，并避免推理时使用GAN以提升效率。
• 通过预训练的IR ReID教师模型指导学生ReID主干网络，提升特征表示能力。
• 通过多层次知识蒸馏与联合判别器训练，增强模型泛化能力与性能。

提出的方法

• 训练一个具有联合判别器的循环一致性GAN，从真实RGB输入生成逼真的假IR图像，从而构建成对的RGB-IR训练数据。
• 在真实IR图像上预训练IR ReID教师模型，以实现高精度并作为特征监督来源。
• 实现三种知识蒸馏损失：(1) 学生网络中真实RGB与假IR特征之间的蒸馏；(2) 学生与教师网络中真实IR与假IR特征之间的蒸馏；(3) 学生与教师网络中真实IR特征之间的蒸馏。
• 利用联合判别器通过在对抗训练中引入ReID特征真实性，提升图像生成质量。
• 使用三元组损失、交叉熵损失以及三种蒸馏损失联合训练学生ReID主干网络，实现跨模态特征对齐。
• 推理时仅部署ReID主干网络，消除GAN推理，提升效率。

实验结果

研究问题

• RQ1 从预训练的IR ReID教师模型中进行知识蒸馏，能否提升RGB-IR行人重识别中的跨模态特征对齐？
• RQ2 在无需真实成对数据的情况下，基于GAN的合成IR图像生成在减小模态差距方面是否有效？
• RQ3 通过ReID特征反馈联合训练生成器与判别器，能否同时提升图像真实感与ReID性能？
• RQ4 多层次蒸馏损失（特征级与重建级）是否能显著提升泛化能力与准确率？
• RQ5 所提出的TS-GAN模型是否能在消除推理时GAN推理的同时保持高性能？

主要发现

• 所提出的TS-GAN模型在SYSU-MM01基准上实现了49.8%的Rank-1与47.4%的mAP，优于当前最先进方法。
• 包含联合判别器与全部蒸馏损失的完整TS-GAN（TS-GAN_JD_allTS）实现了49.8%的Rank-1准确率，相比基线ReID主干网络提升了8.4%。
• 应用重排序后，性能进一步提升至58.3%的Rank-1与55.1%的mAP，表明模型具备强鲁棒性与泛化能力。
• IR教师模块在单模态IR测试集上达到98.0%的Rank-1准确率，验证了其强大的特征学习能力。
• 可视化结果表明，生成的假IR图像具有高度真实性，且模型能有效减小模态差距，但在低质量或遮挡的IR图像上性能有所下降。
• 消融实验表明，逐步添加所有蒸馏损失可显著提升性能，其中联合判别器带来的增益最大。