[论文解读] Simple online and real-time tracking with occlusion handling

Mohammad Hossein Nasseri, Hadi Moradi+2 more|arXiv (Cornell University)|Mar 6, 2021

Video Surveillance and Tracking Methods参考文献 35被引用 6

一句话总结

该论文提出了一种快速、在线的多目标跟踪算法，仅使用几何线索——边界框的位置和大小——来处理遮挡并重新识别丢失的目标，而无需依赖外观特征。通过引入基于置信度的遮挡检测机制，该方法在MOT17基准上实现了最先进性能，身份切换减少了40%，碎片化程度降低了28%，同时保持了适合实时应用的高速度。

ABSTRACT

Multiple object tracking is a challenging problem in computer vision due to difficulty in dealing with motion prediction, occlusion handling, and object re-identification. Many recent algorithms use motion and appearance cues to overcome these challenges. But using appearance cues increases the computation cost notably and therefore the speed of the algorithm decreases significantly which makes them inappropriate for online applications. In contrast, there are algorithms that only use motion cues to increase speed, especially for online applications. But these algorithms cannot handle occlusions and re-identify lost objects. In this paper, a novel online multiple object tracking algorithm is presented that only uses geometric cues of objects to tackle the occlusion and reidentification challenges simultaneously. As a result, it decreases the identity switch and fragmentation metrics. Experimental results show that the proposed algorithm could decrease identity switch by 40% and fragmentation by 28% compared to the state of the art online tracking algorithms. The code is also publicly available.

研究动机与目标

• 解决在线多目标跟踪中不使用外观特征时的遮挡处理与目标重识别挑战。
• 通过避免使用昂贵的深度学习外观嵌入，降低在线跟踪的计算成本。
• 在提升对遮挡的鲁棒性、减少身份切换与碎片化的同时，保持高跟踪速度。
• 证明仅依靠几何线索——边界框的位置与大小——即可实现与基于外观的最先进方法相当的性能。
• 通过消除对高计算量外观模型的依赖，实现在标准硬件上的实时部署。

提出的方法

• 仅使用检测边界框的位置与大小作为几何线索进行跟踪，避免使用外观特征。
• 引入基于置信度的遮挡处理机制，根据运动一致性和空间重叠程度预测目标是否被遮挡。
• 应用置信度阈值 $ C_O $ 检测遮挡，并在数据关联过程中抑制错误关联。
• 使用第二个置信度阈值 $ C_T $ 管理遮挡后的目标重识别，确保轨迹的稳定连续性。
• 利用卡尔曼滤波器基于边界框坐标与尺寸进行运动预测，类似于SORT的方法。
• 基于IoU和置信度分数而非外观特征，使用匈牙利算法进行数据关联。

实验结果

研究问题

• RQ1 是否仅使用几何线索（位置与大小）就能在在线多目标跟踪中有效实现遮挡处理与目标重识别？
• RQ2 在不使用外观特征的情况下，追踪器在多大程度上仍能保持与最先进基于外观的方法相当的性能？
• RQ3 所提出的基于置信度的遮挡检测机制对身份切换与碎片化指标有何影响？
• RQ4 追踪器性能对置信度阈值 $ C_O $ 与 $ C_T $ 的敏感性如何？如何调优以获得最佳结果？
• RQ5 仅基于几何特征的追踪器是否能在标准硬件上实现实时性能，同时匹配或超越基于外观的在线追踪器的性能？

主要发现

• 与MOT17基准上最先进在线追踪算法相比，所提算法将身份切换（IDS）减少了40%，碎片化（FM）降低了28%。
• 在使用SDP检测的MOT17数据集上，尽管仅依赖几何特征，该方法实现了与基于外观的最先进算法（如Deep SORT）相当的MOTA。
• 在最优参数 $ C_O = 0.75 $ 与 $ C_T = 0.35 $ 下，该算法在MOT17上实现了47.3的MOTA，且对参数变化的敏感性极低。
• 该追踪器保持了高速性能，可在标准硬件上实现实时运行，而基于外观的方法即使在高端系统上也难以达到5 FPS。
• 该方法在碎片化（FM）指标上优于Deep SORT，表明其在遮挡后对轨迹连续性的处理更优。
• 该算法对参数变化具有鲁棒性，置信度阈值全范围内MOTA变化小于1%，IDS变化小于4%。