[论文解读] Style Normalization and Restitution for Generalizable Person Re-identification

Xin Jin, Cuiling Lan+3 more|arXiv (Cornell University)|May 22, 2020

Video Surveillance and Tracking Methods参考文献 68被引用 21

一句话总结

本文提出了一种用于可泛化行人重识别（ReID）的风格归一化与恢复（SNR）模块，该模块利用实例归一化（Instance Normalization）抑制风格差异（如光照、色彩等），同时从残差中蒸馏并恢复与身份相关特征，以保留判别能力。SNR模块在域泛化和无监督域自适应基准上实现了最先进性能，mAP指标最高提升达7.8%。

ABSTRACT

Existing fully-supervised person re-identification (ReID) methods usually suffer from poor generalization capability caused by domain gaps. The key to solving this problem lies in filtering out identity-irrelevant interference and learning domain-invariant person representations. In this paper, we aim to design a generalizable person ReID framework which trains a model on source domains yet is able to generalize/perform well on target domains. To achieve this goal, we propose a simple yet effective Style Normalization and Restitution (SNR) module. Specifically, we filter out style variations (e.g., illumination, color contrast) by Instance Normalization (IN). However, such a process inevitably removes discriminative information. We propose to distill identity-relevant feature from the removed information and restitute it to the network to ensure high discrimination. For better disentanglement, we enforce a dual causal loss constraint in SNR to encourage the separation of identity-relevant features and identity-irrelevant features. Extensive experiments demonstrate the strong generalization capability of our framework. Our models empowered by the SNR modules significantly outperform the state-of-the-art domain generalization approaches on multiple widely-used person ReID benchmarks, and also show superiority on unsupervised domain adaptation.

研究动机与目标

• 为解决因光照和色彩对比等风格差异导致的域差距，而引起的监督式行人ReID泛化能力差的问题。
• 在过滤与身份无关的风格特征的同时，保持高判别能力。
• 开发一种即插即用模块，提升泛化能力，且无需访问目标域数据或标签。
• 在仅做最小架构修改的前提下，实现有效的域泛化与无监督域自适应。

提出的方法

• 对行人图像应用实例归一化（IN），以抑制光照和色彩对比等风格差异。
• 从原始特征与归一化特征之间的残差中提取与身份相关特征，以补偿归一化过程中的信息损失。
• 引入双因果损失，以强制实现特征解耦：使恢复后的特征更具判别性，而归一化后的特征判别性更低。
• 将SNR模块作为即插即用组件嵌入ReID主干网络（如OSNet）中，以增强泛化能力。
• 通过结合MAR等自适应策略，将SNR模块用作无监督域自适应（UDA）的主干网络。
• 在多个基准上验证方法性能，包括MSMT17、Market1501、DukeMTMC，以及SYSU-MM01数据集上的跨模态RGB-红外ReID任务。

实验结果

研究问题

• RQ1 仅通过风格归一化是否能在不牺牲身份判别能力的前提下提升行人ReID的泛化性能？
• RQ2 在风格归一化后，如何有效从残差中恢复与身份相关特征？
• RQ3 双因果损失是否能有效实现ReID表征中与身份相关和无关特征的解耦？
• RQ4 SNR模块是否能在包括未见数据集和跨模态设置在内的多种域中实现泛化？
• RQ5 SNR是否能在域泛化与无监督域自适应两种设置下均提升性能？

主要发现

• SNR模块显著优于当前最先进的域泛化方法，在Market1501→Duke和Duke→Market1501设置下，mAP分别提升6.9%和7.8%。
• 在PRID、GRID、VIPeR和i-LIDS基准上，SNR相较于第二好的方法DIMN，mAP分别提升14.6%、6.6%、1.2%和11.5%。
• 在无监督域自适应设置中，将SNR与MAR结合使用时，SNR(Ours)+MAR在Market1501+Duke(U)→Duke和Duke+Market1501(U)→Market1501设置下，mAP分别领先第二好的UDA方法3.8%和3.4%。
• 在OSNet-SNR模型中，与OSNet-IBN相比，SNR在M→D和D→M设置下分别将mAP提升5.0%和5.5%。
• 在具有挑战性的RGB-红外跨模态ReID任务（SYSU-MM01）中，SNR在四个设置下mAP提升8.4%至11.5%，达到最先进性能。
• SNR模块在多种主干网络和设置下均一致提升性能，展现出强大的泛化能力与鲁棒性。