[论文解读] Spectral Feature Transformation for Person Re-identification

Chuanchen Luo, Yuntao Chen+2 more|arXiv (Cornell University)|Nov 28, 2018

Video Surveillance and Tracking Methods参考文献 42被引用 12

一句话总结

本文提出了一种新型可微模块——谱特征变换（Spectral Feature Transformation, SFT），通过建模样本间关系，将谱聚类整合到深度卷积神经网络（CNN）中，用于行人重识别（person re-identification）。通过可微的转移概率公式优化组内相似性，SFT在四个基准数据集上以极低的计算开销显著提升了性能，超越了当前最先进方法，且无需额外技巧。

ABSTRACT

With the surge of deep learning techniques, the field of person re-identification has witnessed rapid progress in recent years. Deep learning based methods focus on learning a feature space where samples are clustered compactly according to their corresponding identities. Most existing methods rely on powerful CNNs to transform the samples individually. In contrast, we propose to consider the sample relations in the transformation. To achieve this goal, we incorporate spectral clustering technique into CNN. We derive a novel module named Spectral Feature Transformation and seamlessly integrate it into existing CNN pipeline with negligible cost,which makes our method enjoy the best of two worlds. Empirical studies show that the proposed approach outperforms previous state-of-the-art methods on four public benchmarks by a considerable margin without bells and whistles.

研究动机与目标

• 通过建模超越单一样本特征学习的样本间关系，提升行人重识别性能。
• 在深度神经网络中实现端到端可微的谱聚类，以支持判别性表征学习。
• 开发一种轻量化模块，以可忽略的计算开销增强跨身份特征的紧凑性。
• 在多样且大规模的ReID基准上验证该方法的有效性与可扩展性。
• 证明谱聚类可被有效集成到深度学习流水线中，从而提升性能。

提出的方法

• 该方法提出一种谱特征变换（SFT）模块，将谱聚类中的传统特征分解替换为子图间转移概率的可微优化。
• SFT在由深度特征构建的相似性图上运行，通过优化组内相似性来增强类内紧凑性与类间分离性。
• 该模块通过基本矩阵运算无缝集成到现有CNN流水线中，确保计算开销极低。
• SFT模块完全可微，支持使用标准反向传播进行端到端训练。
• 该方法还扩展至后处理阶段，利用相同的变换机制进一步优化排序结果。
• 该方法在训练过程中利用已知的身份标签引导谱聚类过程，使其与监督式ReID目标对齐。

实验结果

研究问题

• RQ1 谱聚类能否以端到端可微的方式有效集成到深度学习流水线中，用于行人重识别？
• RQ2 通过谱聚类建模样本间关系，是否能比单独处理样本获得更优的特征紧凑性与判别性？
• RQ3 所提出的SFT模块能否在极低计算开销下实现最先进性能？
• RQ4 该方法在包括大规模数据集MSMT17在内的多种基准上是否具备良好的可扩展性？
• RQ5 SFT模块能否在后处理阶段有效应用，以进一步提升检索排序性能？

主要发现

• 在Market-1501数据集上，该方法达到82.7%的mAP和93.4%的Rank-1准确率，分别优于之前SOTA方法1.4%和2%。
• 在DukeMTMC-ReID数据集上，该方法达到73.2%的mAP和86.9%的Rank-1，mAP和Rank-1分别优于Mancs 1.4%和2%。
• 在CUHK03数据集上，该方法达到62.4%的mAP和68.2%的Rank-1，在人工标注子集上显著优于先前方法。
• 在大规模MSMT17数据集上，该方法达到47.6%的mAP和73.6%的Rank-1，分别超过GLAD 13.6%和12.2%。
• 后处理变体进一步提升了Top-1排名，证明该方法在训练之外仍具显著有效性。
• 消融实验表明，该方法在所有四个基准上均具备良好的可扩展性与鲁棒性，无需额外技巧即可建立强大基线。