[论文解读] Similarity Mapping with Enhanced Siamese Network for Multi-Object Tracking

Minyoung Kim, Stefano Alletto+1 more|arXiv (Cornell University)|Sep 28, 2016

Video Surveillance and Tracking Methods参考文献 18被引用 23

一句话总结

本文提出了一种增强型孪生神经网络（ESNN）用于多目标跟踪，通过联合建模外观特征与几何特征（IoU 和面积比）来提升相似性映射性能。该端到端可训练的 ESNN 在 MOT16 和 KITTI 基准测试中实现了具有竞争力的准确率与高速度（7.9 Hz），且超参数极少，相较于最先进方法在效率与鲁棒性方面表现更优，同时保持低延迟，适用于实时 ADAS 应用。

ABSTRACT

Multi-object tracking has recently become an important area of computer vision, especially for Advanced Driver Assistance Systems (ADAS). Despite growing attention, achieving high performance tracking is still challenging, with state-of-the- art systems resulting in high complexity with a large number of hyper parameters. In this paper, we focus on reducing overall system complexity and the number hyper parameters that need to be tuned to a specific environment. We introduce a novel tracking system based on similarity mapping by Enhanced Siamese Neural Network (ESNN), which accounts for both appearance and geometric information, and is trainable end-to-end. Our system achieves competitive performance in both speed and accuracy on MOT16 challenge, compared to known state-of-the-art methods.

研究动机与目标

• 降低多目标跟踪系统复杂度及超参数数量，以利于真实场景部署。
• 通过融合孪生网络提取的外观特征与 IoU 和面积比等几何信息，提升跟踪性能。
• 开发一种端到端可训练的系统，保持低延迟，适用于自动驾驶与 ADAS 应用中的在线跟踪。
• 设计一种快速、线性时间的匹配算法，相较于计算量大的匈牙利算法，在密集场景中表现更优。

提出的方法

• 基础孪生网络在图像块上使用对比损失（margin parameter m=3）进行预训练，以学习基于外观的相似性。
• ESNN 通过增加两个新分支扩展基础网络，分别处理几何特征：目标边界框的交并比（IoU）与面积比（Arat）。
• 将几何特征与孪生网络最终特征图拼接，为每对目标构建联合相似性表征。
• 提出一种新型线性时间匹配算法，利用 ESNN 输出的相似性分数进行 ID 分配，通过单次重新评估步骤迭代解决冲突。
• 系统采用端到端训练，并在在线设置下使用提供的检测结果进行评估，以确保与最先进方法的公平比较。
• 匹配算法避免了匈牙利算法的 O(n³) 复杂度，显著提升了在密集场景中的可扩展性。

实验结果

研究问题

• RQ1 在孪生网络中结合外观与几何特征，是否能在降低超参数敏感性的同时提升多目标跟踪性能？
• RQ2 所提出的线性时间匹配算法在速度与准确率方面相较于匈牙利算法表现如何，特别是在密集场景中？
• RQ3 端到端训练的 ESNN 是否能在未微调的情况下良好泛化到未见目标类别（如 KITTI 中的车辆）？
• RQ4 与仅使用外观特征相比，集成 IoU 与面积比特征在相似性映射方面提升了多少？
• RQ5 所提系统是否能在极少超参数调优下实现高跟踪速度与准确率，适用于实时 ADAS 应用？

主要发现

• 基于 ESNN 的跟踪器在 MOT16 测试集上实现了 35.3% 的 MOTA，其速度（7.9 Hz）与低延迟优于多个最先进方法。
• 在 KITTI 数据集上，使用公开检测结果，该方法对车辆实现了 65.97% 的 MOTA，对行人实现了 33.69% 的 MOTA，且训练过程中未对车辆类别进行微调。
• 所提线性时间匹配算法的 MOTA 达到 35.3%，优于匈牙利算法的 27.7%，在密集序列（如 MOT16-04）中速度最高快 2.69 倍。
• 系统展现出强大的泛化能力，在未对车辆类别进行微调的情况下于 KITTI 上实现具有竞争力的性能，表明其特征学习具有鲁棒性。
• ESNN 模型显著减少了超参数数量并保持低延迟，适用于自动驾驶与 ADAS 中的实时应用。
• 集成 IoU 与面积比特征显著提升了相似性映射效果，从而提高了跟踪准确率并减少了误报。