[论文解读] Multi-Scale Cascading Network with Compact Feature Learning for RGB-Infrared Person Re-Identification

Can Zhang, Hong Liu+2 more|arXiv (Cornell University)|Dec 12, 2020

Video Surveillance and Tracking Methods参考文献 23被引用 8

一句话总结

本文提出了一种多尺度部件感知级联（MSPAC）网络，并引入一种新型边际指数中心（MeCen）损失，用于RGB-红外行人重识别。通过分层聚合多尺度部件特征并利用级联注意力机制，同时通过MeCen损失实现模态不变的聚类，该方法在公开基准上实现了最先进性能，尤其在SYSU-MM01数据集上，r=1时mAP达到47.26%，显著优于先前方法。

ABSTRACT

RGB-Infrared person re-identification (RGB-IR Re-ID) aims to match persons from heterogeneous images captured by visible and thermal cameras, which is of great significance in the surveillance system under poor light conditions. Facing great challenges in complex variances including conventional single-modality and additional inter-modality discrepancies, most of the existing RGB-IR Re-ID methods propose to impose constraints in image level, feature level or a hybrid of both. Despite the better performance of hybrid constraints, they are usually implemented with heavy network architecture. As a matter of fact, previous efforts contribute more as pioneering works in new cross-modal Re-ID area while leaving large space for improvement. This can be mainly attributed to: (1) lack of abundant person image pairs from different modalities for training, and (2) scarcity of salient modality-invariant features especially on coarse representations for effective matching. To address these issues, a novel Multi-Scale Part-Aware Cascading framework (MSPAC) is formulated by aggregating multi-scale fine-grained features from part to global in a cascading manner, which results in a unified representation containing rich and enhanced semantic features. Furthermore, a marginal exponential centre (MeCen) loss is introduced to jointly eliminate mixed variances from intra- and inter-modal examples. Cross-modality correlations can thus be efficiently explored on salient features for distinctive modality-invariant feature learning. Extensive experiments are conducted to demonstrate that the proposed method outperforms all the state-of-the-art by a large margin.

研究动机与目标

• 解决在光照不良条件下RGB与红外图像之间存在的巨大模态差异对行人重识别带来的挑战。
• 克服现有方法中训练数据有限以及模态不变特征学习不足的问题。
• 通过增强细粒度、部件级表征，提升特征判别性与跨模态相关性。
• 构建统一的分层特征表示，整合多尺度下的局部显著特征。
• 通过一种新型损失函数消除类内差异与模态差异，无需依赖复杂的混合约束。

提出的方法

• 提出一种多尺度部件感知级联（MSPAC）框架，将全局特征分解为多尺度部件，并在每个尺度上应用注意力机制以增强判别性区域。
• 采用级联聚合策略，逐步将细粒度部件特征融合为更粗粒度的表示，保留空间结构并增强语义丰富性。
• 引入边际指数中心（MeCen）损失，结合中心损失、边界与指数加权，强化对难例的约束。
• MeCen损失通过最小化类内方差并增强跨模态相关性，实现不同模态下同身份样本的紧凑聚类。
• 在每个尺度上使用全局平均池化与通道注意力机制以优化特征，提升对姿态与视角变化的鲁棒性。
• 模型端到端训练，采用MeCen损失，实现特征学习与模态不变表示的联合优化。

实验结果

研究问题

• RQ1 多尺度、部件感知的特征学习如何提升RGB-红外重识别中的判别性表征？
• RQ2 部件特征的级联聚合能否带来更鲁棒且统一的全局表征？
• RQ3 所提出的MeCen损失相较于标准中心损失，在减少类内方差与模态差异方面表现如何？
• RQ4 MeCen损失在数据有限的RGB-IR重识别基准上能多大程度提升性能？
• RQ5 MSPAC与MeCen损失的结合是否可消除对复杂图像级与特征级混合约束的依赖？

主要发现

• MSPAC-MeCen模型在SYSU-MM01数据集上r=1时达到47.26%的mAP，显著优于所有先前最先进方法。
• 采用指数形式（+exp）的MeCen损失相比基线模型mAP提升6.93个百分点，证明其在难例挖掘中具有强大有效性。
• 在MeCen损失下，模型在r=1时达到46.62%的准确率，显示出在top-1检索中的卓越性能。
• 通过t-SNE可视化证实，MeCen损失使同身份特征在二维空间中聚类更紧凑且对模态变化更具鲁棒性。
• MSPAC-MeCen的注意力图显示对判别性区域（如头部、腿部）的关注度更高，同时对背景杂波的关注度显著低于基线模型。
• 消融实验表明，结合边界与指数形式的MeCen损失对性能提升至关重要，而仅使用中心损失仅带来微弱改进。