[论文解读] Where-and-When to Look: Deep Siamese Attention Networks for Video-based Person Re-identification

Lin Wu, Yang Wang+2 more|arXiv (Cornell University)|Aug 3, 2018

Video Surveillance and Tracking Methods参考文献 37被引用 5

一句话总结

本文提出了一种深度孪生注意力网络，联合学习视频的时空表征与相似性度量，用于基于视频的人重识别。通过将空间注意力机制整合到门控循环单元中，模型能够动态突出具有判别性的身体部位和时间帧，在三个基准数据集上实现了最先进性能。

ABSTRACT

Video-based person re-identification (re-id) is a central application in surveillance systems with significant concern in security. Matching persons across disjoint camera views in their video fragments is inherently challenging due to the large visual variations and uncontrolled frame rates. There are two steps crucial to person re-id, namely discriminative feature learning and metric learning. However, existing approaches consider the two steps independently, and they do not make full use of the temporal and spatial information in videos. In this paper, we propose a Siamese attention architecture that jointly learns spatiotemporal video representations and their similarity metrics. The network extracts local convolutional features from regions of each frame, and enhance their discriminative capability by focusing on distinct regions when measuring the similarity with another pedestrian video. The attention mechanism is embedded into spatial gated recurrent units to selectively propagate relevant features and memorize their spatial dependencies through the network. The model essentially learns which parts (\emph{where}) from which frames (\emph{when}) are relevant and distinctive for matching persons and attaches higher importance therein. The proposed Siamese model is end-to-end trainable to jointly learn comparable hidden representations for paired pedestrian videos and their similarity value. Extensive experiments on three benchmark datasets show the effectiveness of each component of the proposed deep network while outperforming state-of-the-art methods.

研究动机与目标

• 解决在存在较大视觉差异和帧率变化的独立摄像头视角下进行人重识别的挑战。
• 克服现有方法将特征学习与度量学习分离处理的局限性，未能充分利用时空依赖关系。
• 通过注意力机制同时建模空间上下文与时间动态，提升判别性特征学习能力。
• 实现端到端训练，联合优化视频表征与相似性评分，以提升泛化能力与鲁棒性。

提出的方法

• 采用共享权重的孪生架构处理成对的行人视频序列，实现表征与相似性评分的联合学习。
• 使用二维卷积层从每帧中提取局部空间特征，随后通过空间感知的门控循环单元（GRUs）建模时间依赖性。
• 将视觉注意力机制整合到GRU单元中，以选择性地聚焦于具有判别性的空间区域，并仅在时间上传播相关特征。
• 对序列应用时间池化操作，为每个人生成固定长度的视频级嵌入表示，从而通过相似性度量进行比较。
• 使用对比损失端到端训练整个网络，以同时优化特征表示与相似性预测。
• 利用空间注意力图可视化哪些身体部位和帧对匹配最为关键，提升模型可解释性并增强对遮挡的鲁棒性。

实验结果

研究问题

• RQ1 与解耦方法相比，联合学习时空表征与相似性度量是否能提升人重识别的准确性？
• RQ2 GRU内部的注意力机制在聚焦于相关身体部位与帧方面，能否有效增强特征判别能力？
• RQ3 当在大规模源数据集上进行训练时，该模型在存在领域偏移的数据集上泛化能力如何？
• RQ4 在遮挡、视角变化和复杂背景等挑战性条件下，模型表现如何？

主要发现

• 所提方法在三个基准数据集（iLIDS-VID、PRID2011 和 MARS）上均达到最先进性能，Rank-1准确率分别为 98.6%、98.3% 和 98.8%。
• 在 iLIDS-VID 数据集上，当在 MARS 上训练并在 iLIDS-VID 上测试时，模型达到 98.6% 的 Rank-1 准确率，显著优于先前方法。
• 跨数据集评估显示强泛化能力：即使在 MARS 上训练并在 50% 的 iLIDS-VID 和 PRID2011 上测试，模型仍分别保持 49.2% 和 61.4% 的 Rank-1 准确率。
• 消融实验表明，空间注意力机制与堆叠的 GRU 架构对性能至关重要，其缺失会使 Rank-1 准确率下降高达 10%。
• 注意力图可视化显示，即使在部分遮挡或背景杂乱情况下，模型仍能有效聚焦于上半身和步态特征。
• 失败案例主要源于不同个体之间上半身外观与步态的高度相似性，尤其是在下半身特征被遮挡时。