[论文解读] Pyramidal Person Re-IDentification via Multi-Loss Dynamic Training

Feng Zheng, Cheng Deng+6 more|arXiv (Cornell University)|Oct 29, 2018

Video Surveillance and Tracking Methods参考文献 28被引用 32

一句话总结

本文提出一种从粗到细的金字塔深度学习模型用于行人重识别（Re-ID），通过整合多尺度局部与全局特征，降低对精确检测框的依赖。该方法引入一种动态多损失训练策略，统一三元组损失与身份分类损失，实现最先进性能，包括在新协议下的挑战性CUHK03数据集上相较最佳先前方法提升9.5%。

ABSTRACT

Most existing Re-IDentification (Re-ID) methods are highly dependent on precise bounding boxes that enable images to be aligned with each other. However, due to the challenging practical scenarios, current detection models often produce inaccurate bounding boxes, which inevitably degenerate the performance of existing Re-ID algorithms. In this paper, we propose a novel coarse-to-fine pyramid model to relax the need of bounding boxes, which not only incorporates local and global information, but also integrates the gradual cues between them. The pyramid model is able to match at different scales and then search for the correct image of the same identity, even when the image pairs are not aligned. In addition, in order to learn discriminative identity representation, we explore a dynamic training scheme to seamlessly unify two losses and extract appropriate shared information between them. Experimental results clearly demonstrate that the proposed method achieves the state-of-the-art results on three datasets. Especially, our approach exceeds the current best method by 9.5% on the most challenging CUHK03 dataset.

研究动机与目标

• 通过利用多尺度特征表示，减少行人重识别中对精确行人检测框的依赖。
• 解决基于部件的模型忽略全局上下文信息且因检测不准确导致错位的问题。
• 开发一种动态训练策略，无缝统一三元组损失与身份分类损失，以提升特征判别能力。
• 在无需重排序或多查询推理的情况下，实现在基准Re-ID数据集上的最先进性能。

提出的方法

• 从主干网络的特征图构建由3D特征子图组成的从粗到细的金字塔结构，捕捉多空间尺度下的判别性线索。
• 在每个金字塔分支上分别应用1x1卷积层以降低维度，实现高效特征学习。
• 对每个分支的全局池化特征独立应用Softmax分类损失，以学习身份感知表征。
• 将所有分支的特征拼接形成统一的身份嵌入表征，并通过三元组损失进行优化，以提升判别能力。
• 实施一种动态训练策略，采用交替采样策略：随机采样与ID平衡的难样本采样，以在训练过程中自适应平衡两种损失。
• 在训练过程中动态调整损失权重，以反映迭代过程中难度的变化，避免手动超参数调优。

实验结果

研究问题

• RQ1 当检测框不准确或错位时，多尺度金字塔结构是否能提升行人重识别性能？
• RQ2 如何以动态方式有效结合多种损失（三元组损失与分类损失），以提升特征学习效果，同时避免手动超参数调优？
• RQ3 在分层结构中同时整合局部与全局特征，是否能提升对遮挡和视角变化的鲁棒性？
• RQ4 所提方法是否能在最具挑战性的CUHK03数据集上，于新评估协议下超越最先进方法？

主要发现

• 在Market-1501数据集上，该方法达到88.2%的mAP和95.7%的rank-1准确率，超越先前最先进方法PCB+RPP（81.6% mAP，93.8% rank-1）。
• 在CUHK03数据集上，该方法相较当前最佳方法提升9.5%，在新协议下实现显著性能增益。
• 完整金字塔模型（Pyramid-111100）在Market-1501上达到87.5% mAP和94.8% rank-1，证明了结合所有金字塔层级的有效性。
• 消融实验表明，仅使用全局分支并配合动态训练策略，其性能仍优于PCA+RPP，证实了动态训练策略的价值。
• 128维特征维度表现最优；64维与256维均导致性能下降，表明冗余与信息不足均会损害性能。
• 在仅使用识别损失而移除三元组损失的情况下，mAP仍达86.5%，优于PCB+RPP，证明了金字塔结构本身的有效性，与损失融合无关。