[论文解读] Scalable Person Re-identification on Supervised Smoothed Manifold

Song Bai, Xiang Bai+1 more|arXiv (Cornell University)|Mar 24, 2017

Video Surveillance and Tracking Methods参考文献 31被引用 46

一句话总结

本文提出了一种通用的后处理框架——监督平滑流形（SSM），通过利用成对监督和流形结构，学习平滑且具备几何感知能力的相似性，用于行人重识别。SSM 在 CUHK03 和 Market-1501 等大规模基准上，相较于最先进方法，mAP 最高提升 29.25，且在线推理成本极低，因此在实际部署中具有高度可扩展性和有效性。

ABSTRACT

Most existing person re-identification algorithms either extract robust visual features or learn discriminative metrics for person images. However, the underlying manifold which those images reside on is rarely investigated. That raises a problem that the learned metric is not smooth with respect to the local geometry structure of the data manifold. In this paper, we study person re-identification with manifold-based affinity learning, which did not receive enough attention from this area. An unconventional manifold-preserving algorithm is proposed, which can 1) make the best use of supervision from training data, whose label information is given as pairwise constraints; 2) scale up to large repositories with low on-line time complexity; and 3) be plunged into most existing algorithms, serving as a generic postprocessing procedure to further boost the identification accuracies. Extensive experimental results on five popular person re-identification benchmarks consistently demonstrate the effectiveness of our method. Especially, on the largest CUHK03 and Market-1501, our method outperforms the state-of-the-art alternatives by a large margin with high efficiency, which is more appropriate for practical applications.

研究动机与目标

• 为解决现有 ReID 方法忽略底层数据流形的问题，避免相似性度量不平滑。
• 开发一种可扩展、高效且通用的后处理工具，以增强现有的特征提取器和度量学习方法。
• 利用训练数据中的成对监督（等价约束）在数据流形上学习平滑且几何一致的相似性。
• 通过将大部分计算移至离线阶段，降低在线推理成本，实现大规模部署。

提出的方法

• SSM 将行人重识别建模为在数据流形上的亲和力学习，其中相似性在邻近样本对的上下文中进行估计。
• 采用基于图的公式化方法，通过平滑流形传播相似性分数，确保局部几何一致性。
• 利用训练数据中的成对约束作为监督信号，指导亲和力学习过程。
• 该方法将学习阶段（离线）与推理阶段（在线）解耦，从而实现可扩展性。
• 引入两种加速技术：低秩近似和快速索引策略，以降低在线成本。
• SSM 设计为即插即用模块，可与任何使用视觉特征和度量的现有 ReID 流水线兼容。

实验结果

研究问题

• RQ1 将底层数据流形纳入考虑，能否提升行人重识别系统的鲁棒性和准确性？
• RQ2 如何有效利用成对监督（等价约束）在数据流形上学习平滑且具备几何感知的相似性？
• RQ3 能否使基于流形的亲和力学习方法足够高效，以实现大规模 ReID 应用且在线成本极低？
• RQ4 SSM 在不修改现有 ReID 模型核心架构的前提下，能在多大程度上提升其性能？

主要发现

• 在 Market-1501 数据集上，SSM 在单查询评估下将 mAP 提升了 29.25 个百分点（从 39.55 提升至 68.80），超越此前最先进方法。
• 在 CUHK03 上，SSM 实现了 76.6% 的 rank-1 准确率和 96.1% 的 mAP，相较于此前最先进方法，rank-1 准确率提升 18.0 个百分点（使用检测到的边界框）。
• 即使在最大数据集（Market-1501）上，SSM 的在线索引成本也低于 1 秒，额外开销仅为 21.68 秒，适用于实时系统。
• SSM 在五个基准上均一致提升性能，展现出强大的泛化能力和鲁棒性。
• 该方法在保持极低在线推理开销的同时达到最先进性能，证明了其可扩展性和实用性。
• SSM 可无缝集成至现有 ReID 流水线中，作为通用后处理工具，显著提升不同特征提取器和度量方法的准确率。