[论文解读] POI: Multiple Object Tracking with High Performance Detection and Appearance Feature

Fengwei Yu, Wenbo Li+4 more|arXiv (Cornell University)|Oct 19, 2016

Video Surveillance and Tracking Methods参考文献 10被引用 4

一句话总结

该论文提出POI，一种高性能多目标跟踪框架，利用微调的Faster R-CNN检测器和基于深度学习的128D外观特征网络，在MOT16基准上实现了66.1%（在线）和68.2%（离线）的最先进MOTA分数。该方法表明，优越的检测性能和学习到的外观特征显著优于传统手工设计的特征，即使采用简单的在线跟踪器架构也能实现优异性能。

ABSTRACT

Detection and learning based appearance feature play the central role in data association based multiple object tracking (MOT), but most recent MOT works usually ignore them and only focus on the hand-crafted feature and association algorithms. In this paper, we explore the high-performance detection and deep learning based appearance feature, and show that they lead to significantly better MOT results in both online and offline setting. We make our detection and appearance feature publicly available. In the following part, we first summarize the detection and appearance feature, and then introduce our tracker named Person of Interest (POI), which has both online and offline version.

研究动机与目标

• 通过利用高精度目标检测和深度外观特征，而非依赖手工设计的特征，提升多目标跟踪（MOT）性能。
• 探究在结合高质量检测和外观特征时，是否可使用简单的在线跟踪器实现最先进跟踪性能。
• 证明当使用高质量检测和外观特征时，在线与离线跟踪器之间的性能差距会缩小。
• 公开发布高质量检测模型和深度外观特征网络，以促进未来MOT研究。

提出的方法

• 在ImageNet、ETHZ、Caltech以及自收集的监控数据集组合上对Faster R-CNN检测器进行微调，采用多尺度训练和跳跃池化策略以提升检测精度。
• 训练一种受GoogLeNet启发的CNN，从行人裁剪图像中提取128D外观特征，使用联合Softmax损失和三元组损失以增强判别能力与类内紧凑性。
• 在线跟踪器使用卡尔曼滤波进行运动预测，采用Kuhn-Munkres算法进行数据关联，将外观、运动和形状亲和力合并为最终亲和力得分。
• 亲和力计算为余弦距离（外观）、归一化位置误差的指数衰减（运动）和归一化尺寸差异（形状）的乘积，其中权重可学习。
• 采用两阶段跟踪质量阈值机制，将高质量和低质量轨迹段分离，以提高关联准确率并减少误报。
• 引入一种尺度感知策略，使用阈值τs和τr处理大目标，通过抑制过大检测的不可靠运动和光滑度亲和力。

实验结果

研究问题

• RQ1 高性能检测和深度外观特征是否能在在线和离线设置下显著提升MOT性能？
• RQ2 使用学习到的外观特征是否可消除对复杂离线跟踪流水线的需求，从而缩小在线与离线跟踪器之间的性能差距？
• RQ3 检测质量与外观特征质量分别及联合影响MOTA、IDS和FP等关键MOT指标的程度如何？
• RQ4 目标尺寸的尺度变化在多大程度上影响跟踪性能？是否可通过自适应亲和力加权缓解此问题？
• RQ5 当配备高质量检测和深度外观特征时，简单的在线跟踪器是否可实现最先进性能？

主要发现

• 所提出的检测器将误报与漏检之和（FP+FN）从DPMv5的91,192降低至46,587，显著提升了检测质量。
• 在线跟踪器在MOT16测试集上实现66.1%的MOTA，优于最先进方法KFILDAwSDP（55.2%）和MCMOT-HDM（62.4%）。
• 离线跟踪器在MOT16基准上实现68.2%的MOTA，创下新SOTA纪录，且所有方法中FN最低（45,605）。
• 所提检测器与深度外观特征的结合，使训练集上IDS从784（DPMv5 + 我们特征）降至716，FM从2,697降至1,973。
• 使用所提检测器与特征的在线跟踪器在训练集上实现65.2%的MOTA，显著优于基线（29.4%），展现出强大泛化能力。
• 消融实验确认检测质量和外观特征质量均至关重要：仅使用检测器或仅使用特征均导致次优结果，但二者结合可实现SOTA性能。