[论文解读] Unsupervised Adaptive Re-identification in Open World Dynamic Camera Networks

Rameswar Panda, Amran Bhuiyan+2 more|arXiv (Cornell University)|Jun 9, 2017

Video Surveillance and Tracking Methods被引用 6

一句话总结

本文提出了一种针对动态摄像头网络中临时新增摄像头的无监督自适应重识别框架。该方法采用基于测地流核的策略，识别最适合用于适应的源摄像头，并利用传递推理算法将准确率增益传播至所有摄像头对，显著优于现有最先进无监督方法在基准数据集上的表现，且无需重新训练。

ABSTRACT

Person re-identification is an open and challenging problem in computer vision. Existing approaches have concentrated on either designing the best feature representation or learning optimal matching metrics in a static setting where the number of cameras are fixed in a network. Most approaches have neglected the dynamic and open world nature of the re-identification problem, where a new camera may be temporarily inserted into an existing system to get additional information. To address such a novel and very practical problem, we propose an unsupervised adaptation scheme for re-identification models in a dynamic camera network. First, we formulate a domain perceptive re-identification method based on geodesic flow kernel that can effectively find the best source camera (already installed) to adapt with a newly introduced target camera, without requiring a very expensive training phase. Second, we introduce a transitive inference algorithm for re-identification that can exploit the information from best source camera to improve the accuracy across other camera pairs in a network of multiple cameras. Extensive experiments on four benchmark datasets demonstrate that the proposed approach significantly outperforms the state-of-the-art unsupervised learning based alternatives whilst being extremely efficient to compute.

研究动机与目标

• 解决在不进行昂贵再训练的情况下，将新引入的摄像头整合到现有重识别系统中的挑战。
• 从已安装摄像头网络中识别出最适合与新目标摄像头进行无监督适应的最优源摄像头。
• 通过利用最佳源-目标对的信息，采用传递推理方法，提升所有摄像头对之间的重识别准确率。
• 开发一种可扩展、高效的解决方案，适用于具有动态摄像头新增的现实世界开放环境监控系统。

提出的方法

• 采用基于测地流核的领域感知重识别方法，计算摄像头对之间的相似性，并识别出最适合与新引入的目标摄像头进行适应的源摄像头。
• 测地流核通过建模摄像头间特征分布的流形结构，实现无监督领域自适应。
• 引入一种传递推理算法，将最佳源-目标对的匹配准确率传播至其他摄像头对，即使不存在直接的训练数据。
• 该方法无需新摄像头的标注数据，仅依赖特征嵌入和摄像头间度量学习。
• 采用 KISSME 和 LDML 作为基线度量学习方法进行评估，性能结果为所有可能的目标摄像头插入情况的平均值。
• 该框架设计为计算高效且可扩展，适用于大规模动态摄像头网络。

实验结果

研究问题

• RQ1 如何在无监督条件下高效识别最适合与新引入目标摄像头适应的源摄像头？
• RQ2 传递推理是否能仅通过最佳源-目标对的适应，提升多个摄像头对之间的重识别准确率？
• RQ3 在动态摄像头网络场景下，所提出的无监督方法与有监督度量学习基线相比表现如何？
• RQ4 网络规模和摄像头多样性对无监督适应在重识别中性能的影响是什么？
• RQ5 测地流核是否能在无标注数据的情况下有效建模摄像头之间的领域偏移？

主要发现

• 所提方法在 WARD 数据集上优于所有有监督度量学习基线，其中 Ours-L 达到 73.77% 的 rank-1 准确率，甚至超过 MLAPG。
• 在包含四个摄像头的 RAiD 数据集上，该方法达到 61.87% 的 rank-1 准确率（Ours-L），尽管新摄像头无标注数据，仍表现出强劲性能。
• 无监督方法显著优于基于特征变换的方法（如 FT 和 ICT），后者在两个数据集上的 rank-1 准确率均低于 50%。
• 传递推理使所有摄像头对均获得性能提升，即使新摄像头无直接训练数据。
• 该方法计算效率高，基于 KISSME 的变体比 LDML 快 40%，适用于大规模部署。
• 该框架在大型网络中依然有效，对摄像头数量增加和领域偏移具有鲁棒性。