[论文解读] Spatial-Temporal Correlation and Topology Learning for Person Re-Identification in Videos

Jiawei Liu, Zheng-Jun Zha+3 more|arXiv (Cornell University)|Apr 15, 2021

Video Surveillance and Tracking Methods参考文献 49被引用 9

一句话总结

该论文提出了一种用于基于视频的人重新识别的时空相关性与拓扑学习（CTL）框架，将多粒度部件特征建模为图节点，并利用上下文增强的拓扑结构捕捉跨尺度和跨时空的依赖关系。通过整合3D图卷积与跨尺度图卷积，CTL在MARS和iLIDS-VID数据集上实现了最先进性能，MARS数据集上达到91.4%的rank-1准确率和86.7%的mAP。

ABSTRACT

Video-based person re-identification aims to match pedestrians from video sequences across non-overlapping camera views. The key factor for video person re-identification is to effectively exploit both spatial and temporal clues from video sequences. In this work, we propose a novel Spatial-Temporal Correlation and Topology Learning framework (CTL) to pursue discriminative and robust representation by modeling cross-scale spatial-temporal correlation. Specifically, CTL utilizes a CNN backbone and a key-points estimator to extract semantic local features from human body at multiple granularities as graph nodes. It explores a context-reinforced topology to construct multi-scale graphs by considering both global contextual information and physical connections of human body. Moreover, a 3D graph convolution and a cross-scale graph convolution are designed, which facilitate direct cross-spacetime and cross-scale information propagation for capturing hierarchical spatial-temporal dependencies and structural information. By jointly performing the two convolutions, CTL effectively mines comprehensive clues that are complementary with appearance information to enhance representational capacity. Extensive experiments on two video benchmarks have demonstrated the effectiveness of the proposed method and the state-of-the-art performance.

研究动机与目标

• 解决在姿态变化、遮挡和视角变化下，基于视频的人重新识别中判别性表征学习的挑战。
• 克服现有方法仅建模时间或空间关系，或依赖固定部件划分与不可靠关键点估计的局限性。
• 捕捉跨多个粒度和时间帧的体部部件之间的层次化时空依赖关系与结构信息。
• 通过基于图的学习联合建模跨尺度与跨时空信息，提升局部特征的鲁棒性与对齐性。
• 构建一种上下文增强的拓扑结构，整合全局上下文与物理身体连接，以增强图结构的保真度。

提出的方法

• 使用CNN主干网络和关键点估计算法，提取三种粒度（细粒度、中粒度、粗粒度）的语义局部特征作为图节点。
• 利用结合全局上下文线索与物理身体部件连接的上下文增强拓扑结构，构建多尺度图。
• 应用3D图卷积（3D-GCL）在每个尺度内沿空间与时间维度传播信息。
• 引入跨尺度图卷积（CS-GCL）在不同粒度层级之间传递与融合特征，增强互补信息挖掘。
• 采用两层3D-GCL，感受野大小τ=3，以在表征能力与优化稳定性之间取得平衡。
• 联合优化3D-GCL与CS-GCL，通过捕捉复杂时空依赖关系与结构模式，精炼特征表示。

Figure 1: Three example video sequences on MARS and iLIDS-VID datasets with partial occlusions, inaccurate detection and viewpoint variation.

实验结果

研究问题

• RQ1 如何有效建模多粒度局部特征，以提升在姿态变化与遮挡下的视频Re-ID鲁棒性？
• RQ2 上下文增强拓扑在建模体部部件之间内在时空关联方面的增强程度如何？
• RQ3 3D图卷积与跨尺度图卷积是否能通过捕捉空间、时间与尺度上的层次依赖关系，共同提升表征能力？
• RQ4 从不同粒度层级融合互补特征对整体重新识别准确率的影响如何？
• RQ5 哪些超参数设置（如层数、感受野大小）能在所提框架中实现最优性能？

主要发现

• CTL在MARS数据集上达到91.4%的rank-1准确率与86.7%的mAP，创下新的最先进性能记录。
• 消融实验表明，每个组件——上下文增强拓扑、3D-GCL与CS-GCL——均对性能有增量贡献，完整模型相比基线mAP提升+2.8%。
• 3D-GCL感受野τ=3时性能最优，因更大的感受野（τ=5）会引入无关时间节点的噪声，导致性能下降。
• 两层CS-GCL导致性能下降，表明冗余特征融合会损害表征能力；单层CS-GCL为最优设置。
• 通过Grad-CAM可视化证实，CTL在帧间学习到对齐且具有判别性的特征，即使在遮挡与视角变化下亦成立。
• 检索结果表明，Rank-5结果全部正确，展现出对错位与视觉差异的强鲁棒性。

Figure 2: The overall architecture of the proposed CTL. It consists of a backbone network with a key-points estimator, a context block, multiple 3D graph convolution layers (3D-GCLs), multiple cross-scale graph convolution layers (CS-GCLs) and a fusion block.