[论文解读] Pedestrian re-identification based on Tree branch network with local and global learning

Hui Li, Meng Yang+3 more|arXiv (Cornell University)|Mar 31, 2019

Video Surveillance and Tracking Methods参考文献 23被引用 5

一句话总结

本文提出了一种用于行人重识别的树干网络（TBN），通过卷积神经网络主干网络特征图的分层、粗到细的划分，联合学习全局与局部特征。该方法在Market-1501、CUHK03和DukeMTMC数据集上达到最先进性能，相较于先前方法，mAP最高提升1.4%，Rank-1准确率最高提升1.6%，尤其在结合重排序后表现更优。

ABSTRACT

Deep part-based methods in recent literature have revealed the great potential of learning local part-level representation for pedestrian image in the task of person re-identification. However, global features that capture discriminative holistic information of human body are usually ignored or not well exploited. This motivates us to investigate joint learning global and local features from pedestrian images. Specifically, in this work, we propose a novel framework termed tree branch network (TBN) for person re-identification. Given a pedestrain image, the feature maps generated by the backbone CNN, are partitioned recursively into several pieces, each of which is followed by a bottleneck structure that learns finer-grained features for each level in the hierarchical tree-like framework. In this way, representations are learned in a coarse-to-fine manner and finally assembled to produce more discriminative image descriptions. Experimental results demonstrate the effectiveness of the global and local feature learning method in the proposed TBN framework. We also show significant improvement in performance over state-of-the-art methods on three public benchmarks: Market-1501, CUHK-03 and DukeMTMC.

研究动机与目标

• 解决现有深度部件化模型在利用局部表征的同时未能充分挖掘全局特征的局限性。
• 构建一种无需额外监督（如姿态或关键点标注）的框架，以粗到细、分层方式学习判别性特征。
• 通过有效融合局部部件级特征与整体全局特征，提升行人重识别性能。
• 通过在标准基准上的大量实验，证明联合学习全局与局部特征的优势。

提出的方法

• TBN框架将卷积神经网络主干网络的特征图递归地划分为多个分层分支，形成类似树状的结构。
• 每个划分后的分支通过瓶颈模块处理，以在不同粒度级别学习更细粒度的判别性特征。
• 分层设计支持从粗到细的特征学习，较低层级捕捉全局上下文，较高等级细化局部细节。
• 所有分支的特征在末端聚合，形成统一且更具判别性的图像表征。
• 该方法无需额外监督（如关键点检测或姿态估计），仅依赖端到端训练。
• 推理后应用重排序操作，进一步提升性能，尤其在挑战性数据集上效果显著。

实验结果

研究问题

• RQ1 在不依赖外部标注的前提下，联合学习全局与局部特征是否能提升行人重识别性能？
• RQ2 与均匀或固定划分策略相比，用于特征划分的分层树干结构在学习判别性表征方面表现如何？
• RQ3 所提出的TBN框架在Market-1501、CUHK03和DukeMTMC等标准基准上，相较于最先进方法的性能提升程度如何？
• RQ4 将重排序与TBN框架结合是否能在所有数据集上带来进一步的性能增益？

主要发现

• 在Market-1501数据集上，TBN结合重排序后达到95.4%的Rank-1准确率和91.3%的mAP，优于所有对比中列出的先前方法。
• 在CUHK03数据集中，TBN在标注设置下达到72.3%的Rank-1和68.5%的mAP，分别较PCB+RPP高出5.5%和7.5%，且无需重排序。
• 在DukeMTMC-reID数据集中，TBN达到85.5%的Rank-1和73.0%的mAP，分别较SphereReID高出1.6%和4.5%，较GP-reid高出0.3%和0.2%。
• 结合重排序后，TBN在DukeMTMC上达到89.2%的Rank-1和85.1%的mAP，表明在所有基准上均实现一致且显著的性能提升。
• 消融实验表明，所提出的局部与全局特征学习策略相较于使用相同主干（ResNet-50）的基线模型，mAP提升1.4%，验证了分层划分的有效性。
• 该模型展现出强大的泛化能力，在无需额外监督或复杂后处理的前提下，于全部三个公开基准上均达到最先进性能。