[论文解读] SMILEtrack: SiMIlarity LEarning for Occlusion-Aware Multiple Object Tracking

Yu-Hsiang Wang, Jun-Wei Hsieh+4 more|arXiv (Cornell University)|Nov 16, 2022

Video Surveillance and Tracking Methods被引用 10

一句话总结

SMILEtrack 提出了一种基于孪生网络的相似性学习模块（SLM），结合补丁自注意力机制，并引入具有 GATE 功能的相似性匹配级联（SMC），以提升遮挡及复杂场景下的外观匹配性能。其在 MOT17 和 MOT20 上相较 BYTETrack 实现了 0.4–0.8 MOTA 和 2.1–2.2 HOTA 的性能提升，同时在 37.5 FPS 的推理速度下保持了优异的效率。

ABSTRACT

Despite recent progress in Multiple Object Tracking (MOT), several obstacles such as occlusions, similar objects, and complex scenes remain an open challenge. Meanwhile, a systematic study of the cost-performance tradeoff for the popular tracking-by-detection paradigm is still lacking. This paper introduces SMILEtrack, an innovative object tracker that effectively addresses these challenges by integrating an efficient object detector with a Siamese network-based Similarity Learning Module (SLM). The technical contributions of SMILETrack are twofold. First, we propose an SLM that calculates the appearance similarity between two objects, overcoming the limitations of feature descriptors in Separate Detection and Embedding (SDE) models. The SLM incorporates a Patch Self-Attention (PSA) block inspired by the vision Transformer, which generates reliable features for accurate similarity matching. Second, we develop a Similarity Matching Cascade (SMC) module with a novel GATE function for robust object matching across consecutive video frames, further enhancing MOT performance. Together, these innovations help SMILETrack achieve an improved trade-off between the cost ({\em e.g.}, running speed) and performance (e.g., tracking accuracy) over several existing state-of-the-art benchmarks, including the popular BYTETrack method. SMILETrack outperforms BYTETrack by 0.4-0.8 MOTA and 2.1-2.2 HOTA points on MOT17 and MOT20 datasets. Code is available at https://github.com/pingyang1117/SMILEtrack_Official

研究动机与目标

• 解决多目标跟踪（MOT）中持续存在的遮挡挑战，尤其是在外观相似物体密集存在的复杂场景中。
• 改善基于检测的跟踪框架中的性能-效率权衡，特别是针对相比联合检测与嵌入（JDE）模型效率较低的独立检测与嵌入（SDE）方法。
• 克服传统特征描述符在 SDE 模型中难以区分外观相似物体的局限性。
• 设计一种鲁棒且轻量级的相似性匹配机制，提升跟踪精度而不牺牲推理速度。

提出的方法

• 提出一种基于孪生网络的相似性学习模块（SLM），利用受视觉 Transformer 启发的补丁自注意力（PSA）模块，计算两个目标提议之间的外观相似性。
• 设计一种新颖的具有 GATE 功能的相似性匹配级联（SMC）模块，实现跨视频帧的多阶段目标关联，提升在遮挡情况下的鲁棒性。
• 采用两阶段匹配策略：第一阶段结合 IOU 与基于 SLM 的外观相似性，用于高置信度检测；第二阶段则仅依赖 IOU 处理低置信度或被遮挡的目标。
• 在 SLM 中使用多个模板，以增强低检测分数目标的特征表示，提升在复杂场景下的鲁棒性。
• 通过消融实验优化 PSA 模块中的补丁布局，最终选择 type-E 配置在 MOT17 和 MOT20 上实现最佳性能。
• 将 SLM 与 SMC 集成到基于检测的跟踪流水线中，实现在保持高精度的同时实现高效的推理。

实验结果

研究问题

• RQ1 与传统特征描述符相比，基于孪生网络的相似性学习模块结合自注意力机制，是否能提升遮挡 MOT 场景下的外观匹配性能？
• RQ2 所提出的具有 GATE 功能的相似性匹配级联（SMC）在连续帧之间如何提升跟踪鲁棒性，尤其是在遮挡情况下？
• RQ3 在多阶段匹配中，IOU 与外观相似性的最优组合方式是什么，以实现精度与效率的平衡？
• RQ4 SLM 与 SMC 组件在多大程度上能够提升现有基于 SDE 的跟踪器（如 BYTETrack）的性能？
• RQ5 补丁自注意力模块中的补丁布局如何影响 MOT 中整体相似性学习性能？

主要发现

• SMILEtrack 在 MOT17 测试集上实现了 80.7 MOTA 和 65.0 HOTA，推理速度为 37.5 FPS，优于所有 SOTA 方法，关键指标如 MOTA、IDF1、HOTA、FN 和 MT 均表现领先。
• 在 MOT17 上，SMILEtrack 是唯一实现 IDF1 超过 80 的方法，相比 BYTETrack 提升了 0.4–0.8 MOTA 点，HOTA 提升超过 2.0 点。
• 在 MOT20 上，SMILEtrack 在所有 SOTA 方法中取得了最高的 MOTA、IDF1、HOTA 和 FN 得分，展现出卓越的泛化能力与鲁棒性。
• 消融实验表明，PSA 模块中的 type-E 补丁布局表现最佳，相较其他配置可将 MOTA 提升最高达 0.3 点。
• 在 SMC 的两阶段中均结合 SLM 与 IOU 的策略取得最佳效果，最终配置在 MOT17 上实现 76.5 MOTA 和 78.9 IDF1。
• 当应用于 BYTETrack 时，SLM、SMC 和 GATE 组件显著提升了其性能，证明其作为即插即用模块在现有 SDE 跟踪器中的有效性。