[论文解读] SiamMOT: Siamese Multi-Object Tracking

Bing Shuai, Andrew Berneshawi+3 more|arXiv (Cornell University)|May 25, 2021

Video Surveillance and Tracking Methods参考文献 75被引用 5

一句话总结

SiamMOT 提出了一种基于孪生网络的在线多目标跟踪框架，通过基于区域的特征显式建模运动，以提升跟踪精度。通过将显式运动模型（EMM）与 Faster R-CNN 检测器结合，其在 MOT17（65.9 MOTA）、TAO-person（41.1 TrackAP）和 HiEve 上实现了最先进性能，优于先前方法，且在单张 GPU 上以 17 FPS 的速度运行。

ABSTRACT

In this paper, we focus on improving online multi-object tracking (MOT). In particular, we introduce a region-based Siamese Multi-Object Tracking network, which we name SiamMOT. SiamMOT includes a motion model that estimates the instance's movement between two frames such that detected instances are associated. To explore how the motion modelling affects its tracking capability, we present two variants of Siamese tracker, one that implicitly models motion and one that models it explicitly. We carry out extensive quantitative experiments on three different MOT datasets: MOT17, TAO-person and Caltech Roadside Pedestrians, showing the importance of motion modelling for MOT and the ability of SiamMOT to substantially outperform the state-of-the-art. Finally, SiamMOT also outperforms the winners of ACM MM'20 HiEve Grand Challenge on HiEve dataset. Moreover, SiamMOT is efficient, and it runs at 17 FPS for 720P videos on a single modern GPU. Codes are available in \url{https://github.com/amazon-research/siam-mot}.

研究动机与目标

• 通过在孪生跟踪框架中显式建模目标运动，提升在线多目标跟踪（MOT）性能。
• 研究显式与隐式运动建模在快速运动和姿态形变等复杂场景下对跟踪鲁棒性的影响。
• 开发一种基于区域的孪生跟踪器，支持端到端训练，并适用于实时部署。
• 在标准 MOT 基准测试（包括 MOT17、TAO-person 和 HiEve）上超越现有最先进方法。
• 通过消融实验与敏感性分析，验证运动建模在在线 MOT 中的有效性。

提出的方法

• SiamMOT 将 Faster R-CNN 检测器与基于区域特征的孪生网络结合，用于估计连续帧之间的运动。
• 提出两种变体：一种为隐式运动模型（IMM），通过特征隐式推断运动；另一种为显式运动模型（EMM），在区域特征上执行模板匹配以预测位移。
• 显式运动模型采用孪生结构，将模板（前一帧检测结果）与搜索区域（当前帧）进行比较，学习匹配函数以实现运动估计。
• 跟踪器使用卡尔曼滤波器优化运动预测，并通过检测置信度与可见性阈值维持轨迹。
• 该框架通过结构化损失端到端训练，同时优化检测与跟踪性能。
• 通过网格搜索调整超参数 α（检测置信度阈值）与 β（可见性置信度阈值），以平衡误报与漏检。

实验结果

研究问题

• RQ1 显式运动建模与隐式运动建模在跟踪精度与鲁棒性方面有何差异？
• RQ2 运动建模在快速运动或姿态形变等挑战性场景中能多大程度提升性能？
• RQ3 基于区域的孪生跟踪器是否能在在线 MOT 设置下超越基于点或基于特征的跟踪器？
• RQ4 SiamMOT 在 MOT17、TAO-person 与 HiEve 等多样化数据集上的表现如何，相较于最先进方法？
• RQ5 为平衡跟踪精确率与召回率，推理阈值 α 与 β 的最优配置是什么？

主要发现

• 使用 DLA-34 主干网络的 SiamMOT 搭载显式运动模型（EMM）在 MOT17 上实现 65.9 MOTA 与 63.3 IDF1，优于所有先前方法。
• 在大规模 TAO-person 数据集上，SiamMOT 将 TrackAP 从 Tracktor++ 的 36.7 提升至 41.1，展现出在多样化场景中的强大泛化能力。
• 在 HiEve 数据集上，SiamMOT 超越了 ACM MM’20 HiEve Grand Challenge 的优胜方法，证实其在复杂真实场景中的优越性。
• 显式运动模型（EMM）在快速运动与姿态形变场景中显著提升跟踪性能，此时运动建模最为关键。
• 敏感性分析表明，α = 0.6 与 β = 0.4 在 MOT17 上实现最优的误报与漏检平衡，当阈值过高时 MOTA 下降超过 3%。
• SiamMOT 在单张现代 GPU 上实现 17 FPS，展现出适用于实时应用的高效性。