[论文解读] RetinaTrack: Online Single Stage Joint Detection and Tracking

Zhichao Lu, Vivek Rathod+2 more|arXiv (Cornell University)|Mar 30, 2020

Video Surveillance and Tracking Methods参考文献 67被引用 15

一句话总结

RetinaTrack 提出了一种简单、高效的单阶段联合检测与跟踪模型，通过在 RetinaNet 基础上引入实例级嵌入实现在线跟踪。该方法在 Waymo 开放数据集上实现了最先进性能，且推理延迟显著低于先前方法，在 MOTA（44.92 vs. 42.62）和 mAP 方面均优于 Tracktor++，同时快了 37 倍。

ABSTRACT

Traditionally multi-object tracking and object detection are performed using separate systems with most prior works focusing exclusively on one of these aspects over the other. Tracking systems clearly benefit from having access to accurate detections, however and there is ample evidence in literature that detectors can benefit from tracking which, for example, can help to smooth predictions over time. In this paper we focus on the tracking-by-detection paradigm for autonomous driving where both tasks are mission critical. We propose a conceptually simple and efficient joint model of detection and tracking, called RetinaTrack, which modifies the popular single stage RetinaNet approach such that it is amenable to instance-level embedding training. We show, via evaluations on the Waymo Open Dataset, that we outperform a recent state of the art tracking algorithm while requiring significantly less computation. We believe that our simple yet effective approach can serve as a strong baseline for future work in this area.

研究动机与目标

• 解决自动驾驶中将检测与跟踪作为独立系统训练所导致的效率低下和复杂性问题。
• 通过共享特征联合训练检测与跟踪，提升跟踪性能，减少误报和 ID 切换。
• 通过最小化计算开销实现实时推理，同时在具有挑战性的基准测试中保持高精度。
• 为未来基于 2D RGB 输入的联合检测与跟踪研究建立一个强大且简洁的基线。

提出的方法

• 修改 RetinaNet 在 FPN 之后的预测头，输出实例级嵌入以实现数据关联，从而支持检测与跟踪的联合训练。
• 端到端联合训练模型，使用检测损失（Focal Loss）和实例嵌入上的度量学习损失，以提升跟踪的一致性。
• 使用嵌入之间的余弦相似度进行跨帧的数据关联，替代传统的 IOU 基跟踪方法。
• 利用 RetinaNet 强大的检测主干网络（ResNet-50）处理小目标及遮挡、低光照等复杂场景。
• 通过维护轨迹片段并结合嵌入相似度与空间接近度实现在线跟踪。
• 采用轻量级 ReID 模型（ResNet-50 TriNet）进行对比实验，但 RetinaTrack 采用联合训练，避免对外部 ReID 模型的依赖。

实验结果

研究问题

• RQ1 能否有效将单阶段检测器扩展为同时预测目标检测结果与实例级嵌入，以实现在线多目标跟踪？
• RQ2 与分别训练检测与跟踪模块相比，联合训练检测与跟踪是否能带来更好的跟踪性能？
• RQ3 与两阶段或多模块跟踪器相比，联合模型是否能在显著降低推理延迟的同时实现最先进水平的跟踪性能？
• RQ4 在遮挡、小目标尺寸和低光照等具有挑战性的自动驾驶条件下，该联合模型表现如何？

主要发现

• RetinaTrack 在 Waymo v1.1 数据集上达到 44.92 的 MOTA，优于基于 IOU 的基线模型（38.25 MOTA）和 Tracktor++（42.62 MOTA）。
• 该模型在 Waymo 数据集上实现 45.70 的 mAP，表明其检测精度与最先进检测器相当。
• RetinaTrack 每帧推理仅需 70ms，比 Tracktor++（2645ms）快 37 倍，同时显著减少了误报和 ID 切换。
• 联合训练检测与度量学习损失相比单独训练检测与 ReID 模块，能带来更优的跟踪性能。
• 即使不依赖外部 ReID 模型，RetinaTrack 仍优于仅使用 IOU 的基线模型，表明与检测联合学习的实例嵌入极为有效。
• 在遮挡和低光照等复杂条件下，模型仍保持强大性能，表现为在长时间目标消失后仍能稳定跟踪。