[论文解读] PH-GCN: Person Re-identification with Part-based Hierarchical Graph Convolutional Network

Bo Jiang, Xixi Wang+1 more|arXiv (Cornell University)|Jul 20, 2019

Video Surveillance and Tracking Methods参考文献 43被引用 16

一句话总结

该论文提出PH-GCN，一种基于部件的分层图卷积网络，用于行人重识别，通过分层图结构建模身体部件之间的空间关系，实现局部、全局和结构特征的联合学习。该方法在Market-1501、DukeMTMC-reID和CUHK03数据集上均达到最先进性能，mAP相比PCB基线分别提升1.1%、3.1%和7.3%。

ABSTRACT

The person re-identification (Re-ID) task requires to robustly extract feature representations for person images. Recently, part-based representation models have been widely studied for extracting the more compact and robust feature representations for person images to improve person Re-ID results. However, existing part-based representation models mostly extract the features of different parts independently which ignore the relationship information between different parts. To overcome this limitation, in this paper we propose a novel deep learning framework, named Part-based Hierarchical Graph Convolutional Network (PH-GCN) for person Re-ID problem. Given a person image, PH-GCN first constructs a hierarchical graph to represent the pairwise relationships among different parts. Then, both local and global feature learning are performed by the messages passing in PH-GCN, which takes other nodes information into account for part feature representation. Finally, a perceptron layer is adopted for the final person part label prediction and re-identification. The proposed framework provides a general solution that integrates local, global and structural feature learning simultaneously in a unified end-to-end network. Extensive experiments on several benchmark datasets demonstrate the effectiveness of the proposed PH-GCN based Re-ID approach.

研究动机与目标

• 为解决现有基于部件的Re-ID模型将部件独立处理、忽略空间与结构关系的局限性。
• 通过在统一的深度学习框架中整合局部外观、全局上下文与结构化部件关系，提升特征判别能力。
• 开发一种上下文感知、端到端可训练的模型，利用图卷积网络捕捉部件表示中的关系不变性。
• 通过部件的结构化建模，提升对姿态、光照、遮挡与形变等外观变化的鲁棒性。

提出的方法

• 构建分层图以表示部件之间的成对关系，节点为部件特征，边编码空间接近度与几何结构。
• 应用图卷积网络（GCNs）在节点间传播消息，聚合邻近部件的信息以优化每个部件的表示。
• 采用两级分层图结构：局部图建模部件的邻近关系，全局图捕捉整个身体的长程依赖。
• 采用可学习的消息传递机制，通过可学习参数ϵ和β平衡自特征与邻近特征在GCN聚合中的贡献。
• 将最终的部件表示集成到感知机层，实现端到端训练与行人重识别分类。
• 使用SGD进行端到端训练，学习率衰减，批量大小为64，并采用水平翻转与归一化等数据增强策略。

实验结果

研究问题

• RQ1 通过分层图结构建模部件间空间关系，是否能相比独立提取部件特征，显著提升行人重识别性能？
• RQ2 通过GCN整合局部、全局与结构化特征，是否能增强在复杂条件下的判别能力？
• RQ3 与平面或单层图结构相比，分层图设计在多大程度上提升了对遮挡、姿态变化与外观变化的鲁棒性？
• RQ4 所提出的PH-GCN框架是否能在不同难度的多样化Re-ID基准上实现良好泛化？

主要发现

• 在Market-1501数据集上，PH-GCN达到93.5%的rank-1准确率与79.0%的mAP，相比PCB基线分别提升1.7%与1.1%，证明结构建模带来显著性能提升。
• 在DukeMTMC-reID数据集上，PH-GCN实现85.0%的rank-1与70.7%的mAP，相比PCB分别提升5.4%与3.1%，相比SGGNN进一步提升2.5%与3.9%。
• 在具有挑战性的CUHK03数据集上，PH-GCN达到64.9%的rank-1与61.5%的mAP，相比PCB分别提升7.3%与3.6%，凸显对域差异的鲁棒性。
• 重排序操作在所有数据集上均一致提升性能，PH-GCN+重排序在CUHK03上实现73.3%的mAP与70.6%的rank-1。
• 消融实验表明，移除GCN模块（Ours-NoGCN）导致性能显著下降，证明消息传递对上下文感知表征的必要性。
• 分层图结构（PH-GCN）优于单层图变体（P-GCN），证实多级结构建模可增强特征学习能力。