[论文解读] Top-push Video-based Person Re-identification

Jinjie You, Ancong Wu+2 more|arXiv (Cornell University)|Apr 29, 2016

Video Surveillance and Tracking Methods参考文献 19被引用 28

一句话总结

本文提出了一种基于视频的行人重识别用的顶推距离学习（TDL）模型，通过在最高等级匹配上施加优化，增强了判别性特征学习。通过将顶推约束与类内差异最小化相结合，TDL 实现了最先进性能，在 iLIDS-VID 数据集上的 Rank-1 准确率相比之前方法提升了 17.33%。

ABSTRACT

Most existing person re-identification (re-id) models focus on matching still person images across disjoint camera views. Since only limited information can be exploited from still images, it is hard (if not impossible) to overcome the occlusion, pose and camera-view change, and lighting variation problems. In comparison, video-based re-id methods can utilize extra space-time information, which contains much more rich cues for matching to overcome the mentioned problems. However, we find that when using video-based representation, some inter-class difference can be much more obscure than the one when using still-image based representation, because different people could not only have similar appearance but also have similar motions and actions which are hard to align. To solve this problem, we propose a top-push distance learning model (TDL), in which we integrate a top-push constrain for matching video features of persons. The top-push constraint enforces the optimization on top-rank matching in re-id, so as to make the matching model more effective towards selecting more discriminative features to distinguish different persons. Our experiments show that the proposed video-based re-id framework outperforms the state-of-the-art video-based re-id methods.

研究动机与目标

• 解决由于不同个体之间外观和运动模式相似而导致的基于视频的行人重识别中模糊性增加的挑战。
• 克服基于静态图像的重识别方法的局限性，后者无法利用视频序列中存在的时序和运动线索。
• 开发一种判别性度量学习框架，通过专注于最高等级匹配性能，显式增强类间边距。
• 相比现有的基于相对比较的方法，降低计算成本，同时保持或提升准确率。

提出的方法

• 提出一种顶推距离学习（TDL）模型，将顶推约束与类内差异最小化相结合，以改善判别性特征学习。
• 采用混合特征表示，结合 HOG3D 提取时空运动信息，以及池化后的颜色直方图与 LBP 提取外观线索。
• 实施一种距离度量学习目标，优先考虑最高等级的正确排序，采用约束优化框架。
• 引入一个超参数 α 以平衡顶推约束与类内方差最小化，防止过拟合并确保优化稳定。
• 采用潜在特征空间学习策略，在最大化类间边距的同时，最小化视频序列中的类内差异。
• 将 [15] 中的顶推思想适配到度量学习中，聚焦于提升行人重识别中的 Top-1 和 Top-5 匹配准确率。

实验结果

研究问题

• RQ1 尽管在运动和外观上存在较高的类间模糊性，顶推约束是否能提升基于视频的行人重识别模型的判别能力？
• RQ2 将顶推学习与类内方差最小化相结合，对基于视频的重识别中最高等级匹配性能有何影响？
• RQ3 在使用多帧表示时，基于视频的特征在多大程度上优于基于静态图像的特征？
• RQ4 与现有最先进方法（如 RDC 和 PRSVM）相比，所提出的 TDL 模型在准确率和计算效率方面表现如何？
• RQ5 在超参数 α 上，顶推与类内方差最小化之间应如何达到最优平衡，以实现鲁棒性能？

主要发现

• 在 iLIDS-VID 数据集上，TDL 模型的 Rank-1 准确率达到 82.4%，相比最佳基线方法提升了 17.33%。
• 在 PRID 2011 数据集上，TDL 的 Rank-1 准确率为 77.3%，表明其在现有基于视频的重识别方法中具有持续的性能提升。
• HOG3D、颜色直方图与 LBP 特征的组合表现最佳，证实了它们在视频表征中的互补性。
• 最优超参数 α 约为 0.1，该值在顶推与类内方差最小化之间实现平衡，避免了过拟合。
• 基于静态图像的方法在使用多帧时表现不如基于视频的模型，表明时空信息对鲁棒重识别至关重要。
• TDL 将计算成本降低至 RDC 的仅 3%，在保持更优准确率的同时，显著提升了可扩展性，优于基于相对比较的方法。