[论文解读] One-pass Person Re-identification by Sketch Online Discriminant Analysis

Weihong Li, Allen Z. Zhong+1 more|arXiv (Cornell University)|Nov 9, 2017

Video Surveillance and Tracking Methods参考文献 35被引用 6

一句话总结

本文提出了一种名为Sketch Online Discriminant Analysis（SoDA）的一次性在线行人重识别方法，通过草图处理技术在不存储原始样本的情况下，维持历史数据变化的低秩表示。通过从草图中估计类内协方差矩阵，SoDA在实现与离线FDA相当性能的同时，实现了具有理论保证的高效、增量式特征学习。

ABSTRACT

Person re-identification (re-id) is to match people across disjoint camera views in a multi-camera system, and re-id has been an important technology applied in smart city in recent years. However, the majority of existing person re-id methods are not designed for processing sequential data in an online way. This ignores the real-world scenario that person images detected from multi-cameras system are coming sequentially. While there is a few work on discussing online re-id, most of them require considerable storage of all passed data samples that have been ever observed, and this could be unrealistic for processing data from a large camera network. In this work, we present an onepass person re-id model that adapts the re-id model based on each newly observed data and no passed data are directly used for each update. More specifically, we develop an Sketch online Discriminant Analysis (SoDA) by embedding sketch processing into Fisher discriminant analysis (FDA). SoDA can efficiently keep the main data variations of all passed samples in a low rank matrix when processing sequential data samples, and estimate the approximate within-class variance (i.e. within-class covariance matrix) from the sketch data information. We provide theoretical analysis on the effect of the estimated approximate within-class covariance matrix. In particular, we derive upper and lower bounds on the Fisher discriminant score (i.e. the quotient between between-class variation and within-class variation after feature transformation) in order to investigate how the optimal feature transformation learned by SoDA sequentially approximates the offline FDA that is learned on all observed data. Extensive experimental results have shown the effectiveness of our SoDA and empirically support our theoretical analysis.

研究动机与目标

• 填补在线行人重识别中的空白，实现实时模型适应顺序摄像头数据。
• 克服离线重识别模型需要完整数据存储且难以扩展至大规模摄像头网络的局限性。
• 开发一种在不显式存储过去数据样本的情况下仍能保持判别性特征学习能力的方法。
• 理论上分析基于草图的类内协方差矩阵近似对Fisher判别得分收敛的影响。
• 在大规模、流式监控系统中实现在线重识别的高效率与可扩展性。

提出的方法

• 将草图处理技术集成到Fisher判别分析（FDA）中，构建Sketch Online Discriminant Analysis（SoDA）。
• 维护一个低秩草图矩阵，以捕捉此前所有观测样本的主要数据变化。
• 从草图矩阵近似估计类内协方差矩阵，而非存储原始数据。
• 在草图中使用正交频繁方向，以隐式方式在在线学习过程中执行降维。
• 仅使用当前样本和草图增量式更新判别模型，避免重新计算完整协方差矩阵。
• 理论分析推导出Fisher判别得分的上下界，以量化其向离线FDA的收敛程度。

实验结果

研究问题

• RQ1 基于草图的类内协方差矩阵近似在在线重识别中能多大程度保留判别性特征学习能力？
• RQ2 SoDA的在线特征变换在多大程度上近似于最优的离线FDA解？
• RQ3 在不同特征维度下，草图大小与性能（以rank-1准确率和mAP衡量）之间的权衡如何？
• RQ4 与现有在线重识别模型相比，SoDA能否在显著降低计算成本和内存使用的情况下实现具有竞争力的性能？
• RQ5 在FDA中嵌入草图处理是否能自然实现降维，从而消除对独立PCA或特征降维步骤的需求？

主要发现

• 在使用JLH特征时，SoDA在三个大规模行人重识别基准（Market-1501、DukeMTMC、CUHK03）上均取得了最高的rank-1匹配率和mAP。
• 与最先进的在线重识别模型OL-IDM相比，SoDA将累计训练时间减少了30倍，展现出卓越的效率。
• 性能随草图大小ℓ增大而提升，但较小的ℓ（例如256D特征时为256，高维特征时为1000）已在准确率与计算成本之间实现了良好平衡。
• 理论边界证实，SoDA的Fisher判别得分收敛于离线FDA解，且推导出了严格的上下界。
• SoDA通过草图矩阵隐式实现降维，从而在高维场景下无需额外的PCA或特征降维步骤。
• 实验结果表明，即使在高维特征（如LOMO、HIPHOP和JLH）上，SoDA也比OL-IDM和其他离线模型更稳定、更有效。