[论文解读] SFANet: A Spectrum-aware Feature Augmentation Network for Visible-Infrared Person Re-Identification

Haojie Liu, Shun Ma+2 more|arXiv (Cornell University)|Feb 24, 2021

Video Surveillance and Tracking Methods参考文献 18被引用 6

一句话总结

该论文提出 SFANet，一种用于可见光-红外行人重识别的谱感知特征增强网络，通过将 RGB 输入替换为灰度-光谱图像，以减少模态差异，同时保留结构细节。通过集成参数共享的双路主干网络、双向三约束顶推排序损失以及带批量归一化的双线性 ID 嵌入，SFANet 在 SYSU-MM01 和 RegDB 数据集上实现了最先进性能，Rank-1 准确率分别为 89.7% 和 74.8%。

ABSTRACT

Visible-Infrared person re-identification (VI-ReID) is a challenging matching problem due to large modality varitions between visible and infrared images. Existing approaches usually bridge the modality gap with only feature-level constraints, ignoring pixel-level variations. Some methods employ GAN to generate style-consistent images, but it destroys the structure information and incurs a considerable level of noise. In this paper, we explicitly consider these challenges and formulate a novel spectrum-aware feature augementation network named SFANet for cross-modality matching problem. Specifically, we put forward to employ grayscale-spectrum images to fully replace RGB images for feature learning. Learning with the grayscale-spectrum images, our model can apparently reduce modality discrepancy and detect inner structure relations across the different modalities, making it robust to color variations. In feature-level, we improve the conventional two-stream network through balancing the number of specific and sharable convolutional blocks, which preserve the spatial structure information of features. Additionally, a bi-directional tri-constrained top-push ranking loss (BTTR) is embedded in the proposed network to improve the discriminability, which efficiently further boosts the matching accuracy. Meanwhile, we further introduce an effective dual-linear with batch normalization ID embedding method to model the identity-specific information and assits BTTR loss in magnitude stabilizing. On SYSU-MM01 and RegDB datasets, we conducted extensively experiments to demonstrate that our proposed framework contributes indispensably and achieves a very competitive VI-ReID performance.

研究动机与目标

• 为解决行人重识别中可见光与红外图像之间存在的显著模态差异问题。
• 在不依赖基于 GAN 的图像生成方法的前提下，减少跨模态差异，避免结构细节失真。
• 通过在特征层和分类器层均施加强监督，提升特征判别能力。
• 通过参数共享的双路残差网络架构，保留空间结构信息。
• 通过带批量归一化的双线性 ID 嵌入，提升训练稳定性与身份表征能力。

提出的方法

• 该方法引入灰度-光谱图像作为特征增强策略，以近似红外图像风格，同时保留可见光图像的完整结构信息。
• 采用双路、参数共享的残差网络，以在不同模态间保持三维形状的空间结构信息。
• 提出一种双向三约束顶推排序（BTTR）损失，联合优化可见光与红外流中的难正样本与难负样本。
• 引入带批量归一化的双线性 ID 嵌入，以稳定训练并增强身份特定特征学习。
• 采用 PK 采样策略进行网络训练，确保每个小批量中包含多样化的身份样本，提升泛化能力。
• 端到端优化框架结合身份损失与 BTTR 损失，实现鲁棒的跨模态特征学习。

实验结果

研究问题

• RQ1 灰度-光谱图像增强是否能在不扭曲结构细节的前提下，有效降低可见光-红外行人重识别中的模态差异？
• RQ2 参数共享的双路网络架构在跨模态特征学习中，如何提升空间结构的保留能力？
• RQ3 与标准三元组损失相比，双向三约束顶推排序损失在多大程度上提升了特征判别能力？
• RQ4 带批量归一化的双线性 ID 嵌入是否能稳定训练并增强 VI-ReID 中的身份表征能力？
• RQ5 与基于 GAN 的图像翻译方法相比，该方法在特征质量与准确率方面表现如何？

主要发现

• 在 SYSU-MM01 数据集上，SFANet 实现了 89.7% 的 Rank-1 准确率和 74.8% 的 mAP，优于先前最先进方法。
• 在 RegDB 数据集上，模型实现了 74.8% 的 Rank-1 准确率和 67.5% 的 mAP，展现出跨域强泛化能力。
• 消融实验表明，灰度-光谱增强策略显著降低了模态差异，并提升了特征紧凑性。
• 结合难样本挖掘的 BTTR 损失性能优于标准三元组变体，在使用 tri-hard 变体时，SYSU-MM01 上 Rank-1 准确率达到 62.45%。
• ID 嵌入层中引入批量归一化可稳定训练，平滑损失曲线，并提升优化收敛性。
• 可视化结果表明，即使在外观和模态差异较大的情况下，模型仍能检索到正确身份，凸显其对颜色与结构变化的鲁棒性。