[论文解读] Person Re-identification with Deep Similarity-Guided Graph Neural Network

Yantao Shen, Hongsheng Li+3 more|arXiv (Cornell University)|Jul 26, 2018

Video Surveillance and Tracking Methods参考文献 44被引用 17

一句话总结

本文提出了一种相似性引导的图神经网络（SGGNN），用于行人重识别。该方法通过图结构建模探针-图库图像对之间的成对关系，利用图库-图库相似性标签指导边权重，并实现端到端的消息传递，从而提升相似性估计性能。SGGNN在公开基准上达到最先进性能，mAP最高提升3.6%，top-1准确率提升3.0%。

ABSTRACT

The person re-identification task requires to robustly estimate visual similarities between person images. However, existing person re-identification models mostly estimate the similarities of different image pairs of probe and gallery images independently while ignores the relationship information between different probe-gallery pairs. As a result, the similarity estimation of some hard samples might not be accurate. In this paper, we propose a novel deep learning framework, named Similarity-Guided Graph Neural Network (SGGNN) to overcome such limitations. Given a probe image and several gallery images, SGGNN creates a graph to represent the pairwise relationships between probe-gallery pairs (nodes) and utilizes such relationships to update the probe-gallery relation features in an end-to-end manner. Accurate similarity estimation can be achieved by using such updated probe-gallery relation features for prediction. The input features for nodes on the graph are the relation features of different probe-gallery image pairs. The probe-gallery relation feature updating is then performed by the messages passing in SGGNN, which takes other nodes' information into account for similarity estimation. Different from conventional GNN approaches, SGGNN learns the edge weights with rich labels of gallery instance pairs directly, which provides relation fusion more precise information. The effectiveness of our proposed method is validated on three public person re-identification datasets.

研究动机与目标

• 解决现有行人重识别模型将探针-图库对独立处理、忽略成对间关系的局限性。
• 通过建模多个探针-图库对之间的关联依赖，提升对困难正样本和负样本的相似性估计精度。
• 将丰富的图库-图库相似性标签整合到图学习过程中，以指导更有效的特征融合。
• 通过将图计算嵌入深度学习流程，实现特征学习与相似性估计的端到端训练。
• 证明通过图网络进行关系建模不仅能提升最终排序性能，还能增强学习到的视觉特征的判别性。

提出的方法

• 构建一个图结构，其中每个节点代表一个探针-图库图像对，节点特征初始化为成对关系特征。
• 根据对应图库图像的相似性分数定义节点之间的边权重，利用图库-图库对提供的丰富监督信号。
• 在图中执行深度消息传递，通过聚合邻近节点的信息来更新节点表示。
• 使用可学习的消息聚合函数，结合节点特征与边权重，以优化关系表示。
• 端到端训练整个SGGNN框架，联合优化视觉特征学习与基于图的相似性优化。
• 应用相似性引导的特征融合机制，利用图库-图库相似性标签作为注意力权重，动态调整特征聚合。

实验结果

研究问题

• RQ1 对探针-图库图像对之间的成对关系进行建模，能否提升行人重识别中的相似性估计？
• RQ2 将图库-图库相似性标签引入边权重学习，对基于图的重识别模型性能有何影响？
• RQ3 对具有关系消息传递的图神经网络进行端到端训练，是否能带来更优的视觉特征学习与排序准确率？
• RQ4 SGGNN在mAP与top-1准确率方面，相较于传统GNN与后处理重排序方法，优势有多大？
• RQ5 基于图的消息传递机制能否提升对困难样本的相似性估计鲁棒性？

主要发现

• SGGNN在三个公开数据集上均达到最先进性能，在Market-1501、CUHK03和DukeMTMC上的mAP分别提升3.6%、4.1%和2.2%。
• 消融实验表明，若移除图库-图库监督（Base Model + SGGNN w/o SG），Market-1501上的mAP下降1.6%，证明丰富标签指导的重要性。
• SGGNN学习到的视觉特征优于基线模型与传统GNN，当使用$l_2$距离进行相似性估计时，在Market-1501上mAP提升2.1%。
• 模型对超参数选择具有鲁棒性：当$K=4$时，top-100配置在准确率与效率之间达到最佳平衡，进一步增加$K$或top-$K$仅带来边际性能提升，但计算成本显著上升。
• 消融实验确认，与无图库-图库监督的模型相比，SGGNN的消息传递机制使top-1准确率提升1.7%至2.6%。
• 在DukeMTMC上，模型实现3.0%的top-1准确率增益；在CUHK03上，mAP提升4.1%，凸显其在具有复杂跨摄像头差异的挑战性数据集上的有效性。