[论文解读] Person Re-identification for Real-world Surveillance Systems

Furqan Khan, François M Brémond|arXiv (Cornell University)|Jul 20, 2016

Video Surveillance and Tracking Methods参考文献 12被引用 18

一句话总结

本文提出了一种新颖的无监督多 shot 人物重识别方法——多通道外观混合（MCAM），通过在多个低层次特征上对人物外观建模为高斯混合模型（GMM），以捕捉多模态变化。通过结合 f-散度与协同编码进行相似性度量，无需监督学习，MCAM 在 PRID2011、iLIDS-VID 和 SAIVT-SoftBio 数据集上实现了最先进性能，优于所有无监督方法，甚至超过许多有监督方法，同时消除了昂贵的标注需求。

ABSTRACT

Appearance based person re-identification in a real-world video surveillance system with non-overlapping camera views is a challenging problem for many reasons. Current state-of-the-art methods often address the problem by relying on supervised learning of similarity metrics or ranking functions to implicitly model appearance transformation between cameras for each camera pair, or group, in the system. This requires considerable human effort to annotate data. Furthermore, the learned models are camera specific and not transferable from one set of cameras to another. Therefore, the annotation process is required after every network expansion or camera replacement, which strongly limits their applicability. Alternatively, we propose a novel modeling approach to harness complementary appearance information without supervised learning that significantly outperforms current state-of-the-art unsupervised methods on multiple benchmark datasets.

研究动机与目标

• 解决有监督人物重识别方法在真实世界监控系统中面临的高标注成本与缺乏可迁移性问题。
• 提升在多 shot Re-ID 中因姿态、视角、光照与遮挡导致的外观变化下的鲁棒性。
• 开发一种可扩展的、与摄像头无关的特征表示，无需有监督度量学习。
• 通过每种特征独立建模 GMM，实现颜色、形状与纹理特征的有效融合。
• 仅使用无监督相似性度量实现高重识别准确率，避免系统扩展后重复标注。

提出的方法

• 使用多通道外观混合（MCAM）表示每个人物的外观，其中每种特征（如颜色、纹理）均独立建模为高斯混合模型（GMM）。
• 利用低层次特征的方差作为线索，发现人物的多种外观模式，而非依赖运动或视角线索。
• 结合 GMM 之间的 f-散度与基于协同编码的距离，计算外观特征表示之间的相似性。
• 将颜色、形状、纹理等多种互补特征整合为统一的特征表示，同时保持特征的独立性。
• 通过依赖统计散度与字典编码，避免有监督度量学习，确保在摄像头网络间具有可扩展性与可迁移性。
• 仅使用跟踪得到的人物检测结果与边界框端到端训练系统，无需为度量学习提供身份标注。

实验结果

研究问题

• RQ1 无监督度量学习与大量人工标注需求下，多 shot 人物重识别系统能否实现最先进性能？
• RQ2 在真实世界监控场景中，高斯混合模型在捕捉跨摄像头多模态外观变化方面效果如何？
• RQ3 f-散度与协同编码结合是否显著优于传统相似性度量方法？
• RQ4 通过 GMM 独立建模特征的特征表示，是否能比联合建模方法更好地保留互补信息？
• RQ5 在缺乏摄像头特定训练的前提下，该方法在动态添加或替换摄像头的真实系统中是否具备良好的可扩展性？

主要发现

• 在 PRID2011 数据集上，MCAM-LR+CRCS 达到 39.9% 的 rank-1 准确率，优于所有无监督方法，几乎与最佳有监督方法 STFV3D+KISSME（43.8%）持平。
• 在 iLIDS-VID 上，MCAM-LR+CRCS 达到 39.9% 的 rank-1 准确率，超过所有无监督基线方法，且在未使用 21 帧轨迹长度的条件下，仅略逊于 STFV3D+KISSME（43.8%）。
• 该方法在 SAIVT-SoftBio、PRID2011 和 iLIDS-VID 上均实现了最先进性能，且未使用任何有监督度量学习，展现出强大的跨数据集泛化能力。
• MCAM 的性能甚至优于若干有监督方法（如 MTL-LORAE 和 DVR），表明改进的特征表示可弥补缺乏度量学习的不足。
• 该方法对外观变化具有鲁棒性，且无需轨迹长度约束，适用于具有不同质量轨迹的真实系统。
• 系统扩展后无需重复标注，因其不依赖摄像头特定模型或再训练。