[论文解读] Online Adaptive Hidden Markov Model for Multi-Tracker Fusion

Vojir, Tomas, Jiřı́ Matas+1 more|arXiv (Cornell University)|Apr 23, 2015

Video Surveillance and Tracking Methods参考文献 22被引用 4

一句话总结

该论文提出HMMTxD，一种在线自适应隐马尔可夫模型，通过融合多个互补跟踪器与检测器，实现鲁棒的视觉目标跟踪。通过将跟踪器失效状态建模为潜在HMM状态，并利用检测器输出监督无监督Baum-Welch学习，HMMTxD在多个基准上达到最先进性能，显著优于现有融合方法，在准确性和遮挡鲁棒性方面表现更优。

ABSTRACT

In this paper, we propose a novel method for visual object tracking called HMMTxD. The method fuses observations from complementary out-of-the box trackers and a detector by utilizing a hidden Markov model whose latent states correspond to a binary vector expressing the failure of individual trackers. The Markov model is trained in an unsupervised way, relying on an online learned detector to provide a source of tracker-independent information for a modified Baum- Welch algorithm that updates the model w.r.t. the partially annotated data. We show the effectiveness of the proposed method on combination of two and three tracking algorithms. The performance of HMMTxD is evaluated on two standard benchmarks (CVPR2013 and VOT) and on a rich collection of 77 publicly available sequences. The HMMTxD outperforms the state-of-the-art, often significantly, on all datasets in almost all criteria.

研究动机与目标

• 解决单一跟踪器在领域漂移或复杂运动下失效的局限性。
• 通过使用隐马尔可夫模型建模跟踪器可靠性与失效状态，实现鲁棒的多跟踪器融合。
• 开发一种在线、无监督学习框架，利用检测器输出实现部分监督，而无需完整标注。
• 通过基于检测器置信度的动态重新初始化失败跟踪器，提升长期跟踪的鲁棒性。
• 在概率HMM框架中学习可观测分布，融合具有非均匀置信度估计的多样化跟踪器。

提出的方法

• HMM将跟踪器状态建模为二值向量，表示每个跟踪器的失效或成功状态，潜在状态表示跟踪器性能的组合。
• 采用改进的Baum-Welch算法，利用来自在线学习的物体检测器生成的部分标注数据进行无监督HMM训练。
• 仅当检测器输出与当前最可能的HMM状态一致时，才将其作为模型更新的真值，从而减少误差传播。
• 使用广义矩法估计跟踪器置信度分数的beta-分布可观测密度，实现概率融合。
• 基于期望状态转移更新转移概率，利用检测器验证的帧约束学习过程，提升长期稳定性。
• 最终姿态估计结合了加权的跟踪器输出，权重为其后验概率，整合了历史表现与当前观测。

实验结果

研究问题

• RQ1 在线、无监督的HMM能否有效融合具有非均匀置信度度量的多个互补跟踪器？
• RQ2 如何利用高精度检测器在无需完整标注的情况下监督HMM训练？
• RQ3 所提方法是否能在遮挡或跟踪器失效后提升长期跟踪鲁棒性？
• RQ4 HMM框架是否能在多样化基准上超越基于规则或固定权重的融合策略？
• RQ5 检测器输出与HMM状态的一致性在多大程度上提升模型学习与跟踪精度？

主要发现

• 在CVPR2013基准上，HMMTxD优于最先进方法，所有评估标准下的精度与成功率均更高。
• 在VOT基准上，HMMTxD显著提升了跟踪精度与鲁棒性，尤其在处理遮挡与长期跟踪挑战方面表现突出。
• 在77个公开视频序列的实验中，HMMTxD持续优于基线融合方法与单个跟踪器。
• 由于检测器监督的跟踪器重新初始化，该方法实现了更优的长期跟踪性能，减少了漂移与失效传播。
• 利用检测器输出作为部分监督，实现了有效的在线学习，HMM能够随时间适应跟踪器可靠性的变化。
• 针对beta-分布置信度分数的广义矩法，实现了对跟踪器可观测性的精确建模，且无需强参数假设。