[论文解读] Robust Online Multi-target Visual Tracking using a HISP Filter with Discriminative Deep Appearance Learning

Nathanael L. Baisa|arXiv (Cornell University)|Aug 11, 2019

Video Surveillance and Tracking Methods被引用 5

一句话总结

本文提出了一种新颖的在线多目标视觉跟踪器，采用假设与独立随机种群（HISP）滤波器，并通过验证-识别卷积神经网络（VerIdNet）实现判别性深度外观学习。通过将时空运动特征与深度外观嵌入在原理性增强似然函数中融合，该跟踪器在MOT16和MOT17基准上实现了最先进性能，相较于基线方法（无外观学习）显著提升了MOTA（+4.18%）和IDF1（+5.54%）。

ABSTRACT

We propose a novel online multi-target visual tracker based on the recently developed Hypothesized and Independent Stochastic Population (HISP) filter. The HISP filter combines advantages of traditional tracking approaches like MHT and point-process-based approaches like PHD filter, and it has linear complexity while maintaining track identities. We apply this filter for tracking multiple targets in video sequences acquired under varying environmental conditions and targets density using a tracking-by-detection approach. We also adopt deep CNN appearance representation by training a verification-identification network (VerIdNet) on large-scale person re-identification data sets. We construct an augmented likelihood in a principled manner using this deep CNN appearance features and spatio-temporal information. Furthermore, we solve the problem of two or more targets having identical label considering the weight propagated with each confirmed hypothesis. Extensive experiments on MOT16 and MOT17 benchmark data sets show that our tracker significantly outperforms several state-of-the-art trackers in terms of tracking accuracy.

研究动机与目标

• 解决在环境条件变化和目标密度较高情况下实现鲁棒在线多目标跟踪的挑战。
• 在统一的贝叶斯框架中整合判别性深度外观特征与运动信息，以改善数据关联。
• 解决HISP滤波器中多个目标可能被分配相同标签的身份模糊问题。
• 开发一种适用于时间关键应用（如自动驾驶与监控）的实时跟踪器。
• 通过深度外观与运动线索的原理性融合，在标准MOT基准上超越现有在线与离线跟踪器。

提出的方法

• 采用HISP滤波器，一种线性复杂度的多目标滤波器，可在处理目标出生、死亡与虚假警报的同时维持轨迹身份。
• 在大规模行人重识别数据集上训练验证-识别卷积神经网络（VerIdNet），以提取判别性深度外观特征。
• 构建一个增强似然函数，以原理性贝叶斯方式将深度外观嵌入与时空运动特征进行融合。
• 使用假设权重解决在轨迹提取后多个目标被分配相同标签时的身份冲突问题。
• 采用检测跟踪范式，利用MOT16与MOT17基准的公开检测结果，以实现公平比较。
• 实施滑动窗口方法以支持在线推理，可通过完整帧轨迹提取扩展至离线模式。

实验结果

研究问题

• RQ1 原理性融合深度外观与运动特征是否能提升在线多目标跟踪性能？
• RQ2 采用深度外观学习的HISP滤波器与最先进在线及离线跟踪器在标准基准上的表现相比如何？
• RQ3 能否通过假设权重有效解决HISP滤波器中的身份模糊问题？
• RQ4 深度外观学习在多大程度上减少了身份切换并提升了在挑战性条件下的跟踪精度？
• RQ5 所提出的跟踪器在高目标密度与相机运动条件下是否仍能保持高性能？

主要发现

• 所提出的HISP-DAL跟踪器在MOT17基准上实现了37.4的MOTA与30.5的IDF1，相较于基线HISP-T跟踪器（35.9 MOTA，28.9 IDF1）分别提升了4.18%。
• 该跟踪器显著减少了身份切换（IDSw）与碎片化（Frag），表现出更优的轨迹一致性。
• 消融研究证实，引入深度外观特征使IDF1相对提升了5.54%，凸显了判别性外观建模的重要性。
• 在高行人密度与相机运动的挑战性序列MOT17-07-SDP中，该方法仅出现少数身份切换，仍保持鲁棒性能。
• 在MOT16与MOT17基准的关键指标（包括MOTA、MOTP与IDF1）上，该方法优于多个最先进在线与离线跟踪器。
• 假设权重的使用有效解决了多个目标在轨迹提取后被分配相同身份的问题，显著提升了轨迹管理能力。