[论文解读] Temporal Knowledge Propagation for Image-to-Video Person Re-identification

Xinqian Gu, Bingpeng Ma+3 more|arXiv (Cornell University)|Aug 11, 2019

Video Surveillance and Tracking Methods参考文献 35被引用 6

一句话总结

本文提出时间知识传播（TKP）方法，通过将视频表示网络中的时间知识迁移至图像表示网络，以提升图像到视频行人重识别性能。通过在训练过程中强制图像特征与视频特征在共享空间中匹配，TKP增强了图像特征的鲁棒性并减少了模态不平衡，在MARS数据集上实现了75.6%的top-1准确率，达到当前最先进水平。

ABSTRACT

In many scenarios of Person Re-identification (Re-ID), the gallery set consists of lots of surveillance videos and the query is just an image, thus Re-ID has to be conducted between image and videos. Compared with videos, still person images lack temporal information. Besides, the information asymmetry between image and video features increases the difficulty in matching images and videos. To solve this problem, we propose a novel Temporal Knowledge Propagation (TKP) method which propagates the temporal knowledge learned by the video representation network to the image representation network. Specifically, given the input videos, we enforce the image representation network to fit the outputs of video representation network in a shared feature space. With back propagation, temporal knowledge can be transferred to enhance the image features and the information asymmetry problem can be alleviated. With additional classification and integrated triplet losses, our model can learn expressive and discriminative image and video features for image-to-video re-identification. Extensive experiments demonstrate the effectiveness of our method and the overall results on two widely used datasets surpass the state-of-the-art methods by a large margin. Code is available at: https://github.com/guxinqian/TKP

研究动机与目标

• 解决图像到视频行人重识别（I2V Re-ID）中静态图像与视频特征之间存在的信息不对称问题。
• 通过迁移视频序列中学习到的时间知识，改进图像特征表示。
• 通过在共享特征空间中对齐图像与视频特征表示，缩小两者之间的性能差距。
• 通过利用视频中的时间上下文，增强图像特征对视觉变化的鲁棒性。
• 通过联合优化图像与视频网络，在I2V Re-ID基准上实现最先进性能。

提出的方法

• 使用带有非局部模块的视频表示网络，以建模视频帧之间的长程时间依赖关系。
• 训练图像表示网络，使其预测的特征在共享特征空间中与视频网络输出相匹配。
• 应用类似知识蒸馏的损失函数（TKP损失），通过反向传播将时间知识从视频特征传递至图像特征。
• 结合分类损失与集成三元组损失，以提升特征的可分性与泛化能力。
• 允许TKP损失的梯度流向两个网络，实现图像与视频表示的联合优化。
• 采用时间平均池化与非局部操作，提取用于知识迁移的鲁棒视频特征。

实验结果

研究问题

• RQ1 能否有效将视频表示中的时间知识迁移至静态图像表示，以提升I2V Re-ID性能？
• RQ2 从视频网络向图像网络进行知识蒸馏，是否能有效缓解图像与视频特征之间的信息不对称？
• RQ3 引入非局部模块对I2V Re-ID中时间知识传播的性能有何影响？
• RQ4 将TKP损失的梯度反向传播至视频网络，对整体性能与特征质量有何影响？
• RQ5 不同损失函数（如集成三元组损失）对最终重识别准确率的影响如何？

主要发现

• 在MARS数据集上，TKP实现了75.6%的top-1准确率，相较于基线模型（67.1%）提升了8.5个百分点。
• 该方法大幅超越了当前最先进方法，在MARS数据集上mAP达到65.1%。
• 移除非局部模块后性能下降，表明建模长程时间依赖关系对有效知识迁移至关重要。
• 禁止TKP损失梯度流向视频网络可提升V2V Re-ID性能，表明当通过TKP损失优化时，视频表示质量会下降。
• 集成三元组损失优于I2V专用三元组损失，且当视频片段长度T=4时性能最佳。