[论文解读] Simple Unsupervised Multi-Object Tracking

Shyamgopal Karthik, Ameya Prabhu+1 more|arXiv (Cornell University)|Jun 4, 2020

Video Surveillance and Tracking Methods参考文献 68被引用 23

一句话总结

该论文提出 SimpleReID，一种用于多目标跟踪的无监督重识别方法，通过利用 SORT 生成的伪标签并在无标注视频上通过交叉熵损失训练 ReID 网络，消除了对昂贵轨迹标注的需求。该方法在 MOT16/17 上达到最先进性能，优于 CenterTrack 等监督跟踪器 0.3 MOTA 和 4.8 IDF1，表明无监督 ReID 即使在人群密集、遮挡严重的场景下也能达到与监督方法相当的性能。

ABSTRACT

Multi-object tracking has seen a lot of progress recently, albeit with substantial annotation costs for developing better and larger labeled datasets. In this work, we remove the need for annotated datasets by proposing an unsupervised re-identification network, thus sidestepping the labeling costs entirely, required for training. Given unlabeled videos, our proposed method (SimpleReID) first generates tracking labels using SORT and trains a ReID network to predict the generated labels using crossentropy loss. We demonstrate that SimpleReID performs substantially better than simpler alternatives, and we recover the full performance of its supervised counterpart consistently across diverse tracking frameworks. The observations are unusual because unsupervised ReID is not expected to excel in crowded scenarios with occlusions, and drastic viewpoint changes. By incorporating our unsupervised SimpleReID with CenterTrack trained on augmented still images, we establish a new state-of-the-art performance on popular datasets like MOT16/17 without using tracking supervision, beating current best (CenterTrack) by 0.2-0.3 MOTA and 4.4-4.8 IDF1 scores. We further provide evidence for limited scope for improvement in IDF1 scores beyond our unsupervised ReID in the studied settings. Our investigation suggests reconsideration towards more sophisticated, supervised, end-to-end trackers by showing promise in simpler unsupervised alternatives.

研究动机与目标

• 通过开发一种无监督 ReID 方法，消除多目标跟踪中对昂贵轨迹级标注的需求。
• 评估无监督 ReID 是否能在存在遮挡和视角变化的复杂跟踪场景中达到与监督 ReID 相当的性能。
• 探究仅使用无标注视频数据是否能够弥合无监督与监督 ReID 之间的性能差距。
• 评估无监督 ReID 在不同检测器、跟踪器和数据集上的泛化能力与可扩展性。
• 通过展示简单无监督替代方案的有效性，挑战当前复杂、监督、端到端跟踪器的主流趋势。

提出的方法

• 在无标注视频上使用 SORT 跟踪器生成跟踪伪标签，并将其视为训练的真值标签。
• 使用交叉熵损失训练 ReID 网络以预测生成的 SORT 标签，实现无需轨迹标注的端到端学习。
• 使用现成的目标检测器（如 YOLOv3、Faster R-CNN）进行检测，并将其视为非监督组件。
• 将无监督的 SimpleReID 模型集成到多个跟踪器（如 CenterTrack、DeepSORT、Tracktor）中，以评估其泛化能力。
• 与监督 ReID 基线和 Oracle ReID 模型进行对比，以评估性能提升的上限。
• 在不同检测器和跟踪器上进行消融实验，以评估其鲁棒性与性能一致性。

实验结果

研究问题

• RQ1 在 SORT 生成的伪标签上训练的无监督 ReID 模型，是否能在多目标跟踪中实现与监督 ReID 相当的性能？
• RQ2 所提出的无监督方法是否能在包括高度依赖 ReID 的模型（如 DeepSORT）在内的多种检测器和跟踪框架中实现泛化？
• RQ3 在所研究的设置下，ReID 可实现的性能上限是多少？SimpleReID 与该上限的差距有多大？
• RQ4 在所提出的无监督 ReID 基础上，是否仍有显著的改进空间，还是当前性能已趋于饱和？
• RQ5 无监督 ReID 是否能在 MOT16/17 等具有挑战性的基准上超越最先进的监督跟踪器？

主要发现

• 在 MOT17 上，使用 YOLOv3 的 SimpleReID 实现了 67.7 的 MOTA 和 68.1 的 IDF1，优于监督基线 0.3 MOTA 和 4.8 IDF1。
• 当与 CenterTrack 结合时，无监督跟踪器在 MOT16/17 上达到新的最先进水平，优于此前最佳结果（CenterTrack）0.3 MOTA 和 4.8 IDF1。
• SimpleReID 与 Oracle ReID 之间的性能差距仅为 3.3 IDF1 点，表明进一步改进的空间有限。
• SimpleReID 在所有测试的检测器（包括 YOLOv3、Faster R-CNN 和 HTC）上均缩小了与监督 ReID 的性能差距，IDF1 提升达 2.0–3.6 点。
• 该方法在 ReID 依赖型跟踪器（如 DeepSORT）中显著优于朴素基线（如 ImageNet 预训练 ReID 和随机特征），表现更优。
• 结果表明，即使在存在遮挡、交互和视角变化的复杂场景下，无监督 ReID 也能达到与监督方法相当的性能。