[论文解读] Multi-Target Tracking in Multiple Non-Overlapping Cameras using Constrained Dominant Sets

Yonatan Tariku Tesfaye, Eyasu Zemene+3 more|arXiv (Cornell University)|Jun 19, 2017

Video Surveillance and Tracking Methods参考文献 37被引用 55

一句话总结

本论文提出一个统一的三层框架，使用受限支配集合（CDSC）在非重叠摄像头网络中联合解决同摄像头内和跨摄像头跟踪，配备快速的 InfImDyn 基求解器和轨迹细化。

ABSTRACT

In this paper, a unified three-layer hierarchical approach for solving tracking problems in multiple non-overlapping cameras is proposed. Given a video and a set of detections (obtained by any person detector), we first solve within-camera tracking employing the first two layers of our framework and, then, in the third layer, we solve across-camera tracking by merging tracks of the same person in all cameras in a simultaneous fashion. To best serve our purpose, a constrained dominant sets clustering (CDSC) technique, a parametrized version of standard quadratic optimization, is employed to solve both tracking tasks. The tracking problem is caste as finding constrained dominant sets from a graph. In addition to having a unified framework that simultaneously solves within- and across-camera tracking, the third layer helps link broken tracks of the same person occurring during within-camera tracking. In this work, we propose a fast algorithm, based on dynamics from evolutionary game theory, which is efficient and salable to large-scale real-world applications.

研究动机与目标

• 在多个非重叠摄像机中激发并解决多目标跟踪问题。
• 开发一个统一的三层框架，能同时处理同摄像头内跟踪和跨摄像头数据关联。
• 将跟踪建模为跨层图上的受限支配集聚类。
• 引入一种快速优化方法，使 CDSC 能扩展到大规模真实世界数据集。
• 展示在 MOT DukeMTMCT 与以重新识别为导向的数据集上的有效性和泛化性。

提出的方法

• 将同摄像头内的跟踪建模为通过短轨迹图上的受限支配集合形成的一系列同团簇（轨迹片段）。
• 通过在每个摄像头内应用 CDSC 将轨迹片段组合为一致的轨迹，提升到轨迹层级。
• 构建多摄像机轨迹图，并应用 CDSC 在跨摄像机上联合聚类轨迹，链接同摄像头内断开的轨迹。
• 在 CDSC 中使用约束集形式，以确保解包含用户指定的或先验的轨迹，同时形成一致的簇。
• 采用基于 InfImDyn 的快速求解器，在近似线性时间内计算支配集，从而提升可扩展性。
• 加入轨迹细化步骤，以强制互惠关系并消除跨摄像机不一致性。

实验结果

研究问题

• RQ1 单一的基于 CDSC 的框架是否能有效同时解决非重叠摄像机网络中的同摄像头内跟踪和跨摄像头数据关联？
• RQ2 用查询/约束顶点约束支配集如何影响结果轨迹的质量和一致性？
• RQ3 所提出的基于 InfImDyn 的快速求解器是否在不影响准确性的前提下提供适用于大规模数据集的可扩展性能？
• RQ4 该框架能否连接同摄像头内断开的轨迹并提升跨摄像机身份一致性，同时对重识别任务保持泛化性？

主要发现

• 三层 CDSC 框架在一个统一的优化中实现了同摄像头内轨迹的一致性以及跨摄像头关联。
• 受限支配集形式始终包含约束顶点，使聚类具有针对性和可靠性。
• 基于 InfImDyn 的快速求解器将每次迭代的计算降至近似线性时间，使大规模图的可扩展性成为可能。
• 在 MOT Challenge DukeMTMCT 上的实验显示与最先进方法相当的性能。
• 在 MARS 再识别数据集上的实验表明该方法对重识别任务的适用性超越了仅跟踪。
• 该方法能够跨摄像机链接同摄像头内断开的轨迹，提升整体跟踪连续性和身份维护。