[论文解读] UA-DETRAC: A New Benchmark and Protocol for Multi-Object Detection and Tracking

Longyin Wen, Dawei Du+7 more|arXiv (Cornell University)|Nov 13, 2015

Video Surveillance and Tracking Methods参考文献 74被引用 142

一句话总结

本文提出了UA-DETRAC，一个大规模基准数据集，包含100段真实交通视频和140,000多帧标注数据，用于多目标检测与跟踪。该研究提出了一种新型评估协议，将检测与跟踪解耦，揭示了检测质量对整体MOT性能的关键影响，并引入了改进的度量指标（如PR-MOTA），以更好地评估不同场景下系统的鲁棒性。

ABSTRACT

In recent years, numerous effective multi-object tracking (MOT) methods are developed because of the wide range of applications. Existing performance evaluations of MOT methods usually separate the object tracking step from the object detection step by using the same fixed object detection results for comparisons. In this work, we perform a comprehensive quantitative study on the effects of object detection accuracy to the overall MOT performance, using the new large-scale University at Albany DETection and tRACking (UA-DETRAC) benchmark dataset. The UA-DETRAC benchmark dataset consists of 100 challenging video sequences captured from real-world traffic scenes (over 140,000 frames with rich annotations, including occlusion, weather, vehicle category, truncation, and vehicle bounding boxes) for object detection, object tracking and MOT system. We evaluate complete MOT systems constructed from combinations of state-of-the-art object detection and object tracking methods. Our analysis shows the complex effects of object detection accuracy on MOT system performance. Based on these observations, we propose new evaluation tools and metrics for MOT systems that consider both object detection and object tracking for comprehensive analysis.

研究动机与目标

• 解决多目标跟踪（MOT）系统中缺乏综合评估协议的问题，该协议需考虑检测准确率的影响。
• 提供一个大规模、真实世界的数据集，包含丰富的标注信息（如遮挡、光照条件、车辆类型），以支持对MOT方法的稳健评估。
• 研究目标检测质量与整体MOT系统性能之间的复杂相互作用，挑战将检测输入视为固定预设组件的假设。
• 开发新的评估指标，将检测性能作为可变因素纳入考量，实现在多样化应用场景下的公平且更具信息量的基准测试。
• 通过建立标准化、可扩展的基准框架，推动未来在联合检测与跟踪、实时效率以及数据驱动性能提升方面的研究。

提出的方法

• 收集并标注100段真实交通视频（超过140,000帧），包含边界框、遮挡等级、截断比例、光照条件和车辆类型等信息。
• 通过组合最先进检测器（DPM、ACF、R-CNN、CompACT、Faster R-CNN）与十种跟踪算法（GOG、CEM、DCT、IHTLS、H2T、CMOT、TBD），构建完整的MOT系统。
• 在不同检测置信度阈值下评估MOT性能，分析跟踪性能对检测质量的敏感性。
• 提出一种新型评估协议，将检测与跟踪解耦，实现对检测对MOTA和MOTP等跟踪指标影响的系统性分析。
• 提出改进的度量指标（如PR-MOTA和PR-MOTP），将检测输入的精确率与召回率纳入考量，实现面向特定应用场景的性能评估。
• 通过帧级速度测量和计算平台，评估检测与跟踪流水线的实时可行性。

实验结果

研究问题

• RQ1 目标检测的准确性在多大程度上影响多目标跟踪系统的整体性能？
• RQ2 现有评估协议在将检测视为MOT基准中固定预设组件时存在哪些局限性？
• RQ3 能否设计一种新评估协议，以系统性地分析检测质量对跟踪性能的影响？
• RQ4 在不同真实世界条件下，不同检测算法如何影响下游跟踪系统的MOTA和MOTP得分？
• RQ5 在如监控（最小化身份切换）或自动驾驶（最小化漏检）等特定应用场景中，哪些度量指标最能有效评估MOT系统性能？

主要发现

• 检测质量对MOT系统性能具有显著且非线性的影响，MOTA得分在不同检测置信度阈值下变化明显。
• 所提出的PR-MOTA指标表明，跟踪性能对检测的精确率与召回率高度敏感，尤其在遮挡和低光照等挑战性条件下更为显著。
• Faster R-CNN和CompACT检测器在检测质量方面持续优于DPM和ACF，当与鲁棒跟踪器配合时，可获得更高的MOTA得分。
• 在使用Faster R-CNN检测结果时，GOG跟踪器在UA-DETRAC测试集上达到最高帧率（404.61 FPS），显示出强大的实时处理潜力。
• IHTLS跟踪器对检测质量最为敏感，当检测召回率较低时，MOTA显著下降，凸显了在复杂跟踪场景中对鲁棒检测的迫切需求。
• 分析结果证实，检测与跟踪的联合优化至关重要，因为跟踪性能并非独立于检测质量，反之亦然。