[论文解读] STNReID : Deep Convolutional Networks with Pairwise Spatial Transformer Networks for Partial Person Re-identification

Hao Luo, Xing Fan+2 more|arXiv (Cornell University)|Mar 17, 2019

Video Surveillance and Tracking Methods参考文献 27被引用 9

一句话总结

STNReID 提出了一种新颖的深度学习框架，用于使用成对的空间变换网络（STN）进行部分行人重识别（ReID），通过学习仿射变换将部分图像与整体图像对齐。该方法在仅使用标准整体ReID数据集进行训练（通过两阶段训练策略交替增强STN和ReID模块）的情况下，在Partial-ReID上实现了66.7%的rank-1准确率，在Partial-iLIDS上实现了54.6%的rank-1准确率，达到当前最先进性能。

ABSTRACT

Partial person re-identification (ReID) is a challenging task because only partial information of person images is available for matching target persons. Few studies, especially on deep learning, have focused on matching partial person images with holistic person images. This study presents a novel deep partial ReID framework based on pairwise spatial transformer networks (STNReID), which can be trained on existing holistic person datasets. STNReID includes a spatial transformer network (STN) module and a ReID module. The STN module samples an affined image (a semantically corresponding patch) from the holistic image to match the partial image. The ReID module extracts the features of the holistic, partial, and affined images. Competition (or confrontation) is observed between the STN module and the ReID module, and two-stage training is applied to acquire a strong STNReID for partial ReID. Experimental results show that our STNReID obtains 66.7% and 54.6% rank-1 accuracies on partial ReID and partial iLIDS datasets, respectively. These values are at par with those obtained with state-of-the-art methods.

研究动机与目标

• 解决在存在遮挡和视角变化的真实监控场景中，将部分行人图像与整体图像进行匹配的挑战。
• 克服现有方法（如滑动窗口匹配和稀疏重建）的局限性，这些方法存在计算成本高或低效一对一匹配的问题。
• 实现在无需额外部分图像标注的情况下，仅使用标准整体ReID数据集进行训练。
• 通过支持一对多批量推理，提升匹配效率，相比一对一匹配显著降低时间成本。
• 开发一种鲁棒框架，通过两阶段训练使STN与ReID模块相互竞争并优化，实现空间对齐的端到端学习。

提出的方法

• 集成空间变换网络（STN）模块，利用部分图像和整体图像的高层特征预测二维仿射变换参数（缩放、旋转、反射）。
• 使用STN从整体图像中采样一个语义对齐的图像块（仿射图像），以匹配部分图像。
• 采用ReID模块提取部分图像和仿射图像的全局特征以实现匹配。
• 实施两阶段训练策略：首先训练一个弱化ReID模型以优化STN，然后使用STN的预测结果微调ReID模型以提升对齐效果。
• 在推理阶段支持端到端的一对多匹配，即单个部分图像可同时与一批整体图像进行匹配，提升效率。
• 利用标准整体ReID数据集（如Market1501）进行预训练，实现在无需额外标注的情况下，零样本迁移至部分ReID任务。

实验结果

研究问题

• RQ1 空间变换网络能否仅利用高层特征有效学习将部分行人图像与整体图像对齐？
• RQ2 两阶段训练策略（其中STN与ReID模块相互竞争并不断优化）是否能提升在部分ReID基准上的性能？
• RQ3 STNReID能否在不依赖部分图像额外标注的情况下，实现在部分ReID数据集上的竞争力表现？
• RQ4 与DSR等现有方法相比，STNReID在不同规模图库下的计算效率如何？
• RQ5 当在标准数据集上进行训练时，STNReID在整体ReID任务上的泛化能力如何？

主要发现

• STNReID在Partial-ReID数据集上达到66.7%的rank-1准确率，性能与当前最先进方法持平。
• 在Partial-iLIDS数据集上，STNReID实现54.6%的rank-1准确率，展现出在具有挑战性的部分ReID基准上的强大泛化能力。
• 随着批量大小增加，推理时间显著减少：在Partial-iLIDS上，从N=1时的1.899秒降至N=48时的0.303秒，优于一对一匹配方式。
• 在Market1501上，STNReID实现93.8%的rank-1准确率和84.9%的mAP，表明其在整体ReID任务上同样表现出色。
• 两阶段训练策略有效平衡了STN与ReID模块的学习过程，防止因模块间干扰导致的性能下降。
• 该框架支持单次前向传播中的一对多匹配，相比一对一方法（如DSR）更具可扩展性。