[论文解读] Performance Measures and a Data Set for Multi-Target, Multi-Camera Tracking

Ergys Ristani, Francesco Solera+3 more|arXiv (Cornell University)|Sep 6, 2016

Video Surveillance and Tracking Methods参考文献 47被引用 202

一句话总结

这篇论文提出基于身份的 MTMC 性能度量，引入一个大型的 DukeMTMC 数据集，并提供一个参考 MTMC 追踪器来对端到端性能进行基准。

ABSTRACT

To help accelerate progress in multi-target, multi-camera tracking systems, we present (i) a new pair of precision-recall measures of performance that treats errors of all types uniformly and emphasizes correct identification over sources of error; (ii) the largest fully-annotated and calibrated data set to date with more than 2 million frames of 1080p, 60fps video taken by 8 cameras observing more than 2,700 identities over 85 minutes; and (iii) a reference software system as a comparison baseline. We show that (i) our measures properly account for bottom-line identity match performance in the multi-camera setting; (ii) our data set poses realistic challenges to current trackers; and (iii) the performance of our system is comparable to the state of the art.

研究动机与目标

• 提出以身份为中心的性能度量，用以评估跨摄像头及同一摄像头内计算得到的身份与真实身份的匹配程度。
• 提供一个大规模、完全注释的多摄像头数据集，在真实的户外条件下对 MTMC 追踪器进行压力测试。
• 提供一个参考 MTMC 追踪器及用于端到端评估的基线，结合新度量与数据集。
• 展示传统基于事件的度量的局限性，并推动建立真值到结果的身份匹配的需求。

提出的方法

• 通过计算一个真值到结果的二部匹配来最小化帧级错分，从而引入 ID 精确率、ID 召回率和 IDF1。
• 在真实轨迹与计算轨迹之间定义最小成本二部匹配，以在所有摄像头之间建立一对一的 ID 映射。
• 开发一个数据集（DukeMTMC），配备 8 个同步的 1080p/60fps 摄像头，2,834 个身份，以及跨 2 million 帧的标定数据。
• 提供一个参考 MTMC 追踪器，使用多层图、相关聚类和滑动窗口来连接检测、轨道片段（tracklets）和轨迹。
• 与现有度量（MOTA/MCTA）进行比较，展示新度量如何反映身份级别的性能和切换的真实感。

实验结果

研究问题

• RQ1 传统的基于事件的 MTMC 度量如何与跨多摄像头的真实身份基础追踪性能对齐？
• RQ2 真值到结果的一对一身份映射是否能比分割/合并计数更好地量化 MTMC 追踪质量？
• RQ3 一个大规模、现实的多摄像头数据集是否揭示了当前追踪器和度量的局限性？
• RQ4 在现实的户外校园数据集上，基线 MTMC 系统在所提出的基于身份的度量下的表现如何？

主要发现

• ID 召回和 ID 精确度与分割/合并计数相关性较弱，表明事件基度量对 ID 性能的表征存在偏差。
• 在实际中切换错误很频繁，现有度量可能对其表述不准确；所提度量能更准确地对错误分配帧进行惩罚。
• DukeMTMC 数据集包含 2,834 个身份、8 台摄像头，以及超过 2 million 帧，带来现实的 MTMC 挑战。
• 该参考 MTMC 追踪器实现了具有竞争力的性能，并为在新度量和数据集上的未来对比提供基线。
• 在所提出的度量下评估时，结果与使用传统 MCTA/MOTA 风格的度量所得的结果不同，突显了需要以身份为中心的评估。