[论文解读] TrackFormer: Multi-Object Tracking with Transformers

Tim Meinhardt, Alexander M. Kirillov+2 more|arXiv (Cornell University)|Jan 7, 2021

Video Surveillance and Tracking Methods被引用 6

一句话总结

TrackFormer 提出了一种基于端到端 Transformer 编码器-解码器架构的新型注意力跟踪范式，用于多目标跟踪。它通过自回归跟踪查询在视频序列中逐步演化，联合完成检测与数据关联，无需依赖图优化或显式运动/外观建模，在 MOT17、MOT20 和 MOTS20 基准上实现了最先进性能。

ABSTRACT

The challenging task of multi-object tracking (MOT) requires simultaneous reasoning about track initialization, identity, and spatio-temporal trajectories. We formulate this task as a frame-to-frame set prediction problem and introduce TrackFormer, an end-to-end trainable MOT approach based on an encoder-decoder Transformer architecture. Our model achieves data association between frames via attention by evolving a set of track predictions through a video sequence. The Transformer decoder initializes new tracks from static object queries and autoregressively follows existing tracks in space and time with the conceptually new and identity preserving track queries. Both query types benefit from self- and encoder-decoder attention on global frame-level features, thereby omitting any additional graph optimization or modeling of motion and/or appearance. TrackFormer introduces a new tracking-by-attention paradigm and while simple in its design is able to achieve state-of-the-art performance on the task of multi-object tracking (MOT17 and MOT20) and segmentation (MOTS20). The code is available at https://github.com/timmeinhardt/trackformer .

研究动机与目标

• 通过用端到端注意力方法替代传统的两阶段检测跟踪方法，解决多目标跟踪（MOT）中联合检测与数据关联的挑战。
• 通过在 Transformer 解码器中利用自注意力与交叉注意力机制，消除对独立数据关联模块、图优化或显式运动/外观建模的需求。
• 提出一种新范式——注意力跟踪（tracking-by-attention），其中保持身份一致的跟踪查询在帧间自回归更新，形成时空轨迹。
• 在标准 MOT 基准（MOT17、MOT20）上实现最先进性能，并通过掩码预测头扩展至实例分割（MOTS20）。

提出的方法

• 将 MOT 建模为帧到帧的集合预测问题，采用编码器-解码器 Transformer 架构。
• 使用静态物体查询进行初始检测，通过自回归跟踪查询实现在帧间的身份保持跟踪。
• 在跟踪查询内部使用自注意力机制，并通过查询与全局帧级特征之间的交叉注意力实现时空推理。
• 通过注意力机制联合完成检测与数据关联，无需后处理匹配或图优化。
• 引入身份保持的跟踪查询，使其随时间演化，通过注意力驱动的优化维持物体身份。
• 通过添加掩码预测头扩展模型，实现实例分割，支持在 MOTS20 基准上的性能表现。

Figure 1 : TrackFormer jointly performs object detection and tracking-by-attention with Transformers. Object and autoregressive track queries reason about track initialization, identity, and spatiotemporal trajectories.

实验结果

研究问题

• RQ1 纯注意力机制的 Transformer 架构是否能在不依赖外部数据关联模块的情况下实现端到端多目标跟踪？
• RQ2 自回归跟踪查询在保持物体身份与轨迹一致性方面有多高效？
• RQ3 注意力跟踪范式是否能在标准基准上超越传统的检测跟踪与回归跟踪方法？
• RQ4 单一 Transformer 架构在统一框架中联合执行检测、跟踪与分割的能力在多大程度上可行？

主要发现

• 在 MOT17 基准上，TrackFormer 使用公开检测结果实现了 SOTA 性能，MOTA 达到 62.3%，IDF1 达到 57.6%。
• 在 MOT20 基准上，TrackFormer 使用私有检测结果实现 MOTA 68.6% 和 IDF1 65.7%，创下新 SOTA 记录。
• 在 MOTS20 实例分割基准上，TrackFormer 实现 sMOTSA 54.9%、IDF1 63.6% 和 MOTSA 69.9%，展现出对分割任务的强大泛化能力。
• 该模型在 MOT17 和 MOT20 的所有序列中均优于先前方法，包括高目标数量与复杂运动场景。
• 消融实验表明，自回归跟踪查询机制对身份保持与轨迹一致性至关重要。
• 尽管未显式建模运动或外观信息，但性能依然出色，验证了全局注意力在时空推理中的有效性。

Figure 2 : TrackFormer casts multi-object tracking as a set prediction problem performing joint detection and tracking-by-attention . The architecture consists of a CNN for image feature extraction, a Transformer [ 51 ] encoder for image feature encoding and a Transformer decoder which applies self-