[论文解读] Unifying Short and Long-Term Tracking with Graph Hierarchies

Orcun Cetintas, Guillem Brasó+1 more|arXiv (Cornell University)|Dec 6, 2022

Video Surveillance and Tracking Methods被引用 7

一句话总结

SUSHI 提出了一种统一且可扩展的多目标跟踪框架，通过分层图神经网络联合处理短期和长期跟踪，无需针对特定任务进行工程设计。通过使用单一可学习的 GNN 架构对视频进行多层级图层次处理，SUSHI 在多种基准测试中实现了最先进性能，在 DanceTrack 上 IDF1 提升高达 +9.5，在 MOT20 上提升高达 +9.1。

ABSTRACT

Tracking objects over long videos effectively means solving a spectrum of problems, from short-term association for un-occluded objects to long-term association for objects that are occluded and then reappear in the scene. Methods tackling these two tasks are often disjoint and crafted for specific scenarios, and top-performing approaches are often a mix of techniques, which yields engineering-heavy solutions that lack generality. In this work, we question the need for hybrid approaches and introduce SUSHI, a unified and scalable multi-object tracker. Our approach processes long clips by splitting them into a hierarchy of subclips, which enables high scalability. We leverage graph neural networks to process all levels of the hierarchy, which makes our model unified across temporal scales and highly general. As a result, we obtain significant improvements over state-of-the-art on four diverse datasets. Our code and models are available at bit.ly/sushi-mot.

研究动机与目标

• 解决混合多层级跟踪器的局限性，这些跟踪器通常结合独立的短期和长期方法，但往往工程复杂且泛化能力差。
• 通过分层子片段分解实现长视频跟踪的可扩展性，实现对大时间间隔的高效处理。
• 消除对最优线索（如运动与外观）的假设，使模型能够以数据驱动方式在不同时间尺度上学习任务相关的特征。
• 使用单一共享的 GNN 架构在图层次的多个层级上统一处理短期与长期跟踪场景。
• 在包含遮挡、低帧率和多类别跟踪等不同挑战的多样化数据集上，展示模型的泛化能力。

提出的方法

• 将长视频片段分解为分层子片段，较低层级聚焦于短期关联，较高等级则关注更长的时间跨度。
• 在每一层级将检测结果表示为图中的节点，边基于运动、外观和空间接近度特征构建。
• 在每一层级应用相同的图神经网络（GNN）架构，以处理关联并生成越来越长的轨迹片段。
• 将低层级的轨迹片段特征作为高层级图的输入，实现在不同时间尺度上对轨迹的分层优化。
• 通过可微分损失函数端到端训练整个系统，以优化轨迹一致性和身份保持。
• 通过避免使用单体图结构实现可扩展性；相反，独立处理子片段，并通过层次结构合并结果。

Figure 2 : SUSHI consists of a set of SUSHI blocks operating hierarchically over a set of tracklets (with initial length one) in a video clip. Each SUSHI block considers a graph with tracklets from a subclip as nodes, performs neural message passing over it, and merges nodes into longer tracks. Over

实验结果

研究问题

• RQ1 一个单一的统一模型是否能在无需特定任务设计选择的情况下，有效处理短期和长期跟踪？
• RQ2 与单体图或混合跟踪器架构相比，基于分层图的方法是否能显著提升长视频跟踪的可扩展性？
• RQ3 在多个时间尺度上共享的 GNN 架构是否能够以数据驱动方式学习到最相关的线索（如运动与外观）？
• RQ4 在身份保持和对多样化基准的鲁棒性方面，分层图结构与现有混合跟踪器相比表现如何？
• RQ5 统一框架在具有不同挑战（如遮挡、低帧率、多类别跟踪）的数据集上，其泛化能力在多大程度上得以体现？

主要发现

• 在 DanceTrack 基准上，SUSHI 相较于最先进方法实现了 +9.5 的 IDF1 提升，表明其在高遮挡复杂场景中具有强大的泛化能力。
• 在 MOT20 上，SUSHI 在私有集上达到 79.8 的 IDF1 和 64.3 的 HOTA，分别优于之前最先进方法 +4.6 的 IDF1 和 +3.0 的 HOTA，同时减少了身份切换次数。
• 在 MOT17 上，SUSHI 相较于之前最先进方法实现了 +4.7 的 IDF1 提升，表明其在标准基准上具有持续的性能增益。
• 在 BDD 上，SUSHI 达到 76.2 的 IDF1 和 69.2 的 MOTA，分别优于之前方法 +4.2 的 mIDF1 和 +4.9 的 IDF1，即使仅对所有类别应用单一 GNN。
• 分层设计使长片段处理更加高效，SUSHI 相较于单体图跟踪器显著降低了推理时间和内存占用。
• 消融实验确认，跨尺度的统一架构与分层结构对性能均至关重要，每个组件对身份保持均有显著贡献。

Figure 3 : Our hierarchy is based on recursive partitioning of the video clip and we only allow edges within these partitions. After each level, we merge tracklets belonging to the same identity and consider edges spanning across longer timespans.