[论文解读] Online Visual Multi-Object Tracking via Labeled Random Finite Set Filtering

Du Yong Kim, Ba‐Ngu Vo+1 more|arXiv (Cornell University)|Nov 18, 2016

Video Surveillance and Tracking Methods参考文献 45被引用 11

一句话总结

该论文提出了一种基于标记随机有限集（RFS）滤波的在线多目标跟踪算法，通过单一贝叶斯递推统一了状态估计、轨迹管理与遮挡处理。通过在误检期间自适应地在基于检测的更新与局部图像数据之间切换，该方法在检测数量上线性复杂度下实现了高精度，在召回率、误报数和身份切换方面优于当前最先进的在线跟踪器，同时在 MATLAB 中保持了 20 fps 的实时性能。

ABSTRACT

This paper proposes an online visual multi-object tracking algorithm using a top-down Bayesian formulation that seamlessly integrates state estimation, track management, clutter rejection, occlusion and mis-detection handling into a single recursion. This is achieved by modeling the multi-object state as labeled random finite set and using the Bayes recursion to propagate the multi-object filtering density forward in time. The proposed filter updates tracks with detections but switches to image data when mis-detection occurs, thereby exploiting the efficiency of detection data and the accuracy of image data. Furthermore the labeled random finite set framework enables the incorporation of prior knowledge that mis-detections of long tracks which occur in the middle of the scene are likely to be due to occlusions. Such prior knowledge can be exploited to improve occlusion handling, especially long occlusions that can lead to premature track termination in on-line multi-object tracking. Tracking performance are compared to state-of-the-art algorithms on well-known benchmark video datasets.

研究动机与目标

• 解决动态目标数量变化、轨迹启停及遮挡处理等在线多目标跟踪挑战。
• 在保持计算效率的同时，减少基于检测方法的信息损失。
• 通过引入长期存在会提高生存概率的先验知识，改善长时间遮挡下的处理能力。
• 利用标记 RFS 将状态估计、杂波抑制与轨迹管理统一于单一贝叶斯递推中。
• 在不牺牲跟踪精度的前提下，实现与批处理和在线方法相当的实时性能。

提出的方法

• 将多目标状态建模为标记随机有限集（RFS），以实现系统的轨迹标记与管理。
• 采用混合多目标似然函数，结合检测与图像观测，提升建模保真度。
• 使用广义标记多伯努利（GLMB）分布，其与所提出的似然函数共轭，从而实现贝叶斯递推的解析解。
• 自适应调整跟踪更新策略：在检测可用时使用检测以提高效率，在误检期间切换至局部图像区域以保留空间上下文。
• 引入先验知识：长期遮挡的目标更可能仍存在，从而延迟过早终止轨迹。
• 在 GLMB 框架内应用 Chapman-Kolmogorov 方程，实现滤波密度在时间上的前向传播。

实验结果

研究问题

• RQ1 能否通过统一的贝叶斯框架，在在线多目标跟踪中集成状态估计、轨迹管理与遮挡处理？
• RQ2 如何在单一跟踪器中平衡基于检测的效率与基于图像的精度？
• RQ3 关于目标在遮挡期间持续存在的先验知识，是否能提升长期跟踪的鲁棒性？
• RQ4 标记 RFS 框架是否能实现与批处理和在线方法相当的精度，同时保持实时性能？
• RQ5 混合似然模型是否能有效在单一递推中处理检测与局部图像数据？

主要发现

• GLMB-IM 滤波器在基准数据集上的在线跟踪器中，召回率与 FPF（假阳性率）表现最佳或第二佳。
• 在身份切换（IDS）与碎片化（Frag）指标中位列前三，表明轨迹具有强一致性。
• 在标准笔记本电脑上使用未优化的 MATLAB 代码，仍保持 20 fps 的帧率，证明了其实时可行性。
• 尽管为在线方法，该方法在部分序列上优于离线跟踪器 RMOT，在其他序列上达到其精度水平。
• 标记 RFS 框架提供了基数分布，可估计每帧中的目标数量——这是大多数其他方法无法实现的功能。
• 该滤波器在检测数量上表现出线性复杂度，适用于高密度跟踪场景的可扩展性。