[论文解读] Watching You: Global-guided Reciprocal Learning for Video-based Person Re-identification

Xuehu Liu, Pingping Zhang+3 more|arXiv (Cornell University)|Mar 7, 2021

Video Surveillance and Tracking Methods参考文献 32被引用 11

一句话总结

本文提出了一种基于视频的行人重识别全局引导互惠学习（GRL）框架，通过联合利用全局上下文和局部线索，增强判别性特征学习。该方法引入了全局引导相关性估计，将特征解耦为高相关性和低相关性分量，并通过时间互惠学习模块，依次增强显著特征并累积次级关键线索，在三个基准数据集上实现了最先进性能。

ABSTRACT

Video-based person re-identification (Re-ID) aims to automatically retrieve video sequences of the same person under non-overlapping cameras. To achieve this goal, it is the key to fully utilize abundant spatial and temporal cues in videos. Existing methods usually focus on the most conspicuous image regions, thus they may easily miss out fine-grained clues due to the person varieties in image sequences. To address above issues, in this paper, we propose a novel Global-guided Reciprocal Learning (GRL) framework for video-based person Re-ID. Specifically, we first propose a Global-guided Correlation Estimation (GCE) to generate feature correlation maps of local features and global features, which help to localize the high- and low-correlation regions for identifying the same person. After that, the discriminative features are disentangled into high-correlation features and low-correlation features under the guidance of the global representations. Moreover, a novel Temporal Reciprocal Learning (TRL) mechanism is designed to sequentially enhance the high-correlation semantic information and accumulate the low-correlation sub-critical clues. Extensive experiments are conducted on three public benchmarks. The experimental results indicate that our approach can achieve better performance than other state-of-the-art approaches. The code is released at https://github.com/flysnowtiger/GRL.

研究动机与目标

• 为解决现有视频Re-ID方法因过度依赖显著区域，而难以捕捉细粒度、次级关键视觉线索的局限性。
• 通过基于相关性的解耦方法，将全局上下文与局部时空线索整合，以改善特征表示。
• 通过双向时间学习增强显著与非连续判别性特征。
• 通过统一的、全局引导的学习框架，在公开视频Re-ID基准上实现最先进性能。

提出的方法

• 提出全局引导相关性估计（GCE）模块，计算局部帧级特征与全局视频表征之间的相关性图，以指导特征解耦。
• 利用相关性图将空间特征解耦为高相关性（显著、连续）和低相关性（不显著、不连续）分量。
• 引入时间互惠学习（TRL）模块，通过前向与后向处理，增强高相关性特征并跨帧累积低相关性特征。
• 对高相关性特征采用语义增强策略，以突出空间显著且时间对齐的信息。
• 对低相关性特征采用时间记忆机制，逐步累积随时间分散但具有判别性的视觉线索。
• 应用多层级OIM损失（帧级与视频级）联合优化网络，以提升特征判别能力。

实验结果

研究问题

• RQ1 全局表征能否有效引导局部特征解耦为高相关性和低相关性分量，从而提升行人Re-ID性能？
• RQ2 双向时间学习是否能增强视频序列中显著与次级关键视觉线索的建模能力？
• RQ3 基于相关性的特征解耦与互惠时间学习的结合，能否在标准基准上实现更优性能？
• RQ4 视频序列长度如何影响所提出的GRL框架性能？

主要发现

• 所提出的GRL框架在三个公开基准上实现最先进性能，在MARS数据集上mAP达到84.8%，Rank-1准确率为91.0%。
• 双向时间学习优于单向学习，表明前向与后向处理的联合应用能显著提升鲁棒性与特征判别能力。
• 序列长度增加至T=8时性能持续提升，之后训练效果下降，表明存在最优序列长度以实现最佳特征学习。
• 采用多层级OIM损失（帧级与视频级）相比单层级监督，mAP提升1.3%，证实分层优化的优越性。
• 可视化结果表明，高相关性图突出主要身体区域（如上半身），而累积的低相关性特征则捕捉到如包袋或鞋子等不连续但有意义的线索。
• 该方法能有效捕捉时间对齐的显著特征与空间分散的细粒度线索，验证了其双路径学习策略的有效性。