[论文解读] Tracking Objects as Points

Xingyi Zhou, Vladlen Koltun+1 more|arXiv (Cornell University)|Apr 2, 2020

Video Surveillance and Tracking Methods参考文献 57被引用 18

一句话总结

CenterTrack 提出了一种简单且实时的多目标跟踪方法，通过在帧间追踪物体中心位置将物体表示为点。该方法使用基于两帧输入和先前检测结果热力图的单阶段检测器来预测物体中心和到前一帧位置的偏移量，实现端到端、可微分的跟踪，采用贪心关联策略，在 MOT17 上达到 67.8% 的 MOTA，在 KITTI 上达到 89.4%，在 nuScenes 3D 上达到 28.3% 的 AMOTA@0.2，性能达到当前最先进水平。

ABSTRACT

Tracking has traditionally been the art of following interest points through space and time. This changed with the rise of powerful deep networks. Nowadays, tracking is dominated by pipelines that perform object detection followed by temporal association, also known as tracking-by-detection. In this paper, we present a simultaneous detection and tracking algorithm that is simpler, faster, and more accurate than the state of the art. Our tracker, CenterTrack, applies a detection model to a pair of images and detections from the prior frame. Given this minimal input, CenterTrack localizes objects and predicts their associations with the previous frame. That's it. CenterTrack is simple, online (no peeking into the future), and real-time. It achieves 67.3% MOTA on the MOT17 challenge at 22 FPS and 89.4% MOTA on the KITTI tracking benchmark at 15 FPS, setting a new state of the art on both datasets. CenterTrack is easily extended to monocular 3D tracking by regressing additional 3D attributes. Using monocular video input, it achieves 28.3% AMOTA@0.2 on the newly released nuScenes 3D tracking benchmark, substantially outperforming the monocular baseline on this benchmark while running at 28 FPS.

研究动机与目标

• 通过将物体表示为其中心点来简化多目标跟踪，降低关联与检测的复杂度。
• 实现端到端、可微分的跟踪，实现实时联合检测与关联。
• 在 MOT17、KITTI 和 nuScenes 3D 基准上实现最先进性能，且计算开销极低。
• 证明即使不使用真实视频，仅通过在静态图像上使用激进的数据增强，也能有效训练跟踪器。
• 表明学习得到的偏移预测优于复杂场景中手工设计的运动模型（如卡尔曼滤波器和光流）

提出的方法

• CenterTrack 使用当前帧和前一帧的双帧输入，结合先前轨迹的热力图，利用 CenterNet 检测物体中心。
• 预测从当前帧物体中心到其在前一帧对应中心的二维偏移向量，实现直接关联。
• 通过基于预测偏移量和热力图中先前检测位置的贪心匹配执行物体关联。
• 使用激进的数据增强策略进行训练，模拟静态图像中的运动，从而实现在无真实视频情况下的训练。
• 该跟踪器为纯局部方法，仅关联相邻帧中的物体，且无需未来帧信息，实现在线推理。
• 在 3D 跟踪中，该方法从单目视频回归额外的 3D 属性，扩展至 nuScenes 基准。

实验结果

研究问题

• RQ1 能否通过将物体建模为单一点（其中心）并学习帧间偏移预测来简化跟踪？
• RQ2 端到端联合检测与跟踪框架能否超越复杂的两阶段检测-跟踪流水线？
• RQ3 激进的数据增强是否足以在静态图像上实现有效训练，即使没有真实视频序列？
• RQ4 在真实世界跟踪基准中，学习得到的偏移预测器与手工设计的运动模型（如卡尔曼滤波器或光流）相比表现如何？
• RQ5 简单的、局部的跟踪方法能否在包括 MOT17、KITTI 和 nuScenes 3D 在内的多样化基准上实现最先进性能？

主要发现

• 在 MOT17 上，CenterTrack 在 22 FPS 下实现 67.8% 的 MOTA，创下该基准新纪录。
• 在 KITTI 跟踪基准上，CenterTrack 在 15 FPS 下实现 89.4% 的 MOTA，优于先前方法。
• 在 nuScenes 3D 跟踪基准上，CenterTrack 实现 28.3% 的 AMOTA@0.2，显著优于单目基线方法，性能提升三倍。
• 在 nuScenes 上，该跟踪器以 28 FPS 运行，证明了其在 3D 多目标跟踪中的实时性能。
• 在具有虚构运动的静态图像上进行训练可获得优异性能，仅比视频训练有轻微精度下降。
• 使用检测分数的贪心匹配优于匈牙利匹配，且轨迹重生进一步提升了 IDF1 并减少了 ID 切换。