[论文解读] SOT for MOT.

Qizheng He, Jianan Wu+2 more|arXiv (Cornell University)|Dec 4, 2017

Video Surveillance and Tracking Methods参考文献 41被引用 5

一句话总结

该论文提出了一种新颖的多目标跟踪（MOT）跟踪器，将单目标跟踪（SOT）集成到检测式跟踪框架中，通过基于深度学习的外观模型显著减少误检，并提升数据关联性能。在MOT16基准上评估，无论使用公开检测结果还是私有检测结果，均实现了最先进性能。

ABSTRACT

In this paper we present a robust tracker to solve the multiple object tracking (MOT) problem, under the framework of tracking-by-detection. As the first contribution, we innovatively combine single object tracking (SOT) algorithms with multiple object tracking algorithms, and our results show that SOT is a general way to strongly reduce the number of false negatives, regardless of the quality of detection. Another contribution is that we show with a deep learning based appearance model, it is easy to associate detections of the same object efficiently and also with high accuracy. This appearance model plays an important role in our MOT algorithm to correctly associate detections into long trajectories, and also in our SOT algorithm to discover new detections mistakenly missed by the detector. The deep neural network based model ensures the robustness of our tracking algorithm, which can perform data association in a wide variety of scenes. We ran comprehensive experiments on a large-scale and challenging dataset, the MOT16 benchmark, and results showed that our tracker achieved state-of-the-art performance based on both public and private detections.

研究动机与目标

• 通过将单目标跟踪（SOT）作为互补检测机制，解决多目标跟踪（MOT）中误检的挑战。
• 通过基于深度学习的外观模型，提升复杂场景中数据关联的准确性和轨迹一致性。
• 通过在检测式跟踪框架中结合SOT与基于深度学习的外观建模，提升在多样化视觉条件下的鲁棒性。
• 在MOT16基准上，使用公开和私有检测结果，实现最先进性能。

提出的方法

• 将SOT算法集成到MOT流程中，通过追踪先前关联的检测结果来重新检测漏检目标。
• 采用基于深度神经网络的外观模型，实现检测结果之间精确且高效的数据关联。
• 在SOT和MOT组件中均使用外观模型，以在长轨迹中保持一致的对象身份。
• 将外观模型应用于将检测结果关联为连贯的、长期的物体轨迹，即使在遮挡和杂乱场景下也能保持稳定。
• 利用深度学习的鲁棒性，提升在复杂视觉场景中数据关联的性能。
• 将检测建议与基于SOT的重新检测相结合，降低误检率，且不依赖于检测质量。

实验结果

研究问题

• RQ1 将SOT集成到检测式跟踪框架中，是否能有效降低MOT中的误检率，且不受检测质量影响？
• RQ2 基于深度学习的外观模型在长轨迹上实现精确且鲁棒的数据关联方面，效果如何？
• RQ3 外观模型是否能同时增强SOT和MOT组件，从而提升复杂场景下的整体跟踪鲁棒性？
• RQ4 所提出方法在大规模、具有挑战性的基准（如MOT16）上，相较于现有跟踪器，性能提升程度如何？

主要发现

• SOT的集成显著减少了MOT中的误检数量，即使在检测质量较低的情况下也表现良好。
• 基于深度学习的外观模型在多样化和复杂场景中实现了高度精确且高效的数据关联。
• 该跟踪器在MOT16基准上使用公开和私有检测结果时，均实现了最先进性能。
• 外观模型在通过重新检测漏检目标来维持长轨迹中一致对象身份方面起到了关键作用。
• 由于SOT与深度外观建模之间的协同效应，该方法在复杂环境中表现出强大的鲁棒性。
• 结果证实，SOT集成是一种通用且有效的MOT性能提升策略。