[论文解读] Re-identification of Humans in Crowds using Personal, Social and Environmental Constraints

Shayan Modiri Assari, Haroon Idrees+1 more|arXiv (Cornell University)|Dec 7, 2016

Video Surveillance and Tracking Methods参考文献 39被引用 4

一句话总结

该论文提出了一种新颖的人体重识别框架，适用于拥挤且非重叠的摄像头网络，通过将个人、社交和环境（PSE）约束——如外观、偏好速度、群体行为、碰撞避免以及通道转换概率——整合到能量最小化模型中，实现了显著的性能提升。通过使用随机局部搜索和基于Frank-Wolfe的凸松弛方法，相较于仅依赖外观的基线模型，该方法在Grand Central、PRID和DukeMTMC数据集上，分别实现了3%的Rank-1和8%的Rank-5性能提升。

ABSTRACT

This paper addresses the problem of human re-identification across non-overlapping cameras in crowds.Re-identification in crowded scenes is a challenging problem due to large number of people and frequent occlusions, coupled with changes in their appearance due to different properties and exposure of cameras. To solve this problem, we model multiple Personal, Social and Environmental (PSE) constraints on human motion across cameras. The personal constraints include appearance and preferred speed of each individual assumed to be similar across the non-overlapping cameras. The social influences (constraints) are quadratic in nature, i.e. occur between pairs of individuals, and modeled through grouping and collision avoidance. Finally, the environmental constraints capture the transition probabilities between gates (entrances / exits) in different cameras, defined as multi-modal distributions of transition time and destination between all pairs of gates. We incorporate these constraints into an energy minimization framework for solving human re-identification. Assigning $1-1$ correspondence while modeling PSE constraints is NP-hard. We present a stochastic local search algorithm to restrict the search space of hypotheses, and obtain $1-1$ solution in the presence of linear and quadratic PSE constraints. Moreover, we present an alternate optimization using Frank-Wolfe algorithm that solves the convex approximation of the objective function with linear relaxation on binary variables, and yields an order of magnitude speed up over stochastic local search with minor drop in performance. We evaluate our approach using Cumulative Matching Curves as well $1-1$ assignment on several thousand frames of Grand Central, PRID and DukeMTMC datasets, and obtain significantly better results compared to existing re-identification methods.

研究动机与目标

• 解决在非重叠摄像头网络中，由于遮挡和视觉模糊导致仅依赖外观线索难以实现人体重识别的挑战。
• 通过个人、社交和环境约束建模高阶时空关系，且对摄像头拓扑结构和光照变化具有鲁棒性。
• 开发一种高效的优化框架，能够以计算可行的方式处理线性和二次PSE约束。
• 通过引入动态运动模式和社会行为，提升大规模监控场景下的1对1匹配性能。

提出的方法

• 该方法通过外观嵌入和速度先验建模个人约束，如跨摄像头的一致外观和偏好速度。
• 通过为空间分组（共同行走的人）和碰撞避免（路径冲突）设计二次代价函数，将社交约束建模为成对关系。
• 环境约束通过摄像头通道之间的多模态转换概率学习得到，捕捉可能的进出时间与目的地。
• 能量最小化框架将所有PSE约束整合到统一的目标函数中，用于重识别。
• 采用两种优化策略：随机局部搜索用于精确的1对1匹配分配，Frank-Wolfe算法用于凸松弛，实现10倍速度提升且性能损失极小。
• 该框架在Grand Central、PRID和DukeMTMC数据集上进行训练与评估，采用累积匹配曲线和1对1匹配指标。

实验结果

研究问题

• RQ1 个人、社交和环境约束在仅依赖外观相似性之外，如何提升密集人群中的重识别性能？
• RQ2 在非重叠摄像头设置中，社交分组与碰撞避免约束在多大程度上提升了匹配准确性？
• RQ3 通过Frank-Wolfe算法实现的凸松弛能否在显著降低计算时间的同时达到近似最优性能？
• RQ4 摄像头通道之间的转换时间与目的地概率在大规模监控网络中如何促进准确的重识别？

主要发现

• 结合社交与空间分组约束后，PSE约束的引入使Rank-1性能提升3%，Rank-5性能提升8%。
• Frank-Wolfe算法在仅造成轻微精度损失的前提下，实现了相较于随机局部搜索10倍的速度提升。
• 最优配置（结合所有PSE约束）达到96.27%的AUC，显著优于仅依赖外观的基线模型。
• 在密集人群中，碰撞避免约束导致性能略有下降，可能由于路径变化有限且行人密度高。
• 社交分组约束极为有效，即使在Grand Central等多数个体独自行走的数据集中也表现出色，表明其具有强大的判别能力。
• 该方法在不同数据集上泛化能力良好，在Grand Central（严重视觉模糊）、PRID和DukeMTMC上均表现出鲁棒性，适用于真实世界监控场景。