[论文解读] Online Object Tracking, Learning and Parsing with And-Or Graphs

Tianfu Wu, Yang Lu+1 more|arXiv (Cornell University)|Sep 27, 2015

Video Surveillance and Tracking Methods参考文献 67被引用 9

一句话总结

该论文提出AOGTracker，一种新颖的在线目标追踪、学习与解析框架，利用层次化与或图（AOGs）建模未知目标的结构与外观变化。该方法采用空间与时间动态规划实现实时推理，并通过判别性隐式SVM学习适应遮挡、光照变化与干扰物，从而在TB-100上取得最先进性能，在VOT基准（包括VOT2015与TIR2015）上取得具有竞争力的结果。

ABSTRACT

This paper presents a method, called AOGTracker, for simultaneously tracking, learning and parsing (TLP) of unknown objects in video sequences with a hierarchical and compositional And-Or graph (AOG) representation. %The AOG captures both structural and appearance variations of a target object in a principled way. The TLP method is formulated in the Bayesian framework with a spatial and a temporal dynamic programming (DP) algorithms inferring object bounding boxes on-the-fly. During online learning, the AOG is discriminatively learned using latent SVM to account for appearance (e.g., lighting and partial occlusion) and structural (e.g., different poses and viewpoints) variations of a tracked object, as well as distractors (e.g., similar objects) in background. Three key issues in online inference and learning are addressed: (i) maintaining purity of positive and negative examples collected online, (ii) controling model complexity in latent structure learning, and (iii) identifying critical moments to re-learn the structure of AOG based on its intrackability. The intrackability measures uncertainty of an AOG based on its score maps in a frame. In experiments, our AOGTracker is tested on two popular tracking benchmarks with the same parameter setting: the TB-100/50/CVPR2013 benchmarks, and the VOT benchmarks --- VOT 2013, 2014, 2015 and TIR2015 (thermal imagery tracking). In the former, our AOGTracker outperforms state-of-the-art tracking algorithms including two trackers based on deep convolutional network. In the latter, our AOGTracker outperforms all other trackers in VOT2013 and is comparable to the state-of-the-art methods in VOT2014, 2015 and TIR2015.

研究动机与目标

• 为应对长期在线目标追踪中外观与结构变化、遮挡及背景杂波的挑战。
• 开发统一框架，实现在无预训练模型条件下，对视频序列中未知目标的同步追踪、学习与解析。
• 在在线学习AOG结构与参数过程中，保持模型纯净性并控制复杂度。
• 基于模型不确定性度量——不可追踪性（intrackability），识别关键时刻以触发AOG结构的重新学习。
• 通过组合式、分层表示，在复杂场景中实现鲁棒追踪，且仅需极少人工监督。

提出的方法

• 该框架使用分层与或图（AOG）表示目标结构与部件配置，实现对外观与结构变化的组合式建模。
• 采用空间与时间动态规划（DP）算法，实时推断目标边界框，整合历史与当前观测，实现联合最优推理。
• 利用隐式SVM进行AOG参数的判别性学习，使模型能实时适应外观变化、遮挡与干扰物。
• 应用纯净性控制机制，在在线学习过程中保持正负样本的清晰性，防止模型退化。
• 通过从量化配置空间中剪枝判别性较弱的部件配置，控制模型复杂度。
• 基于得分图计算不可追踪性，用于检测模型不确定性，并在必要时触发结构重学习。

实验结果

研究问题

• RQ1 组合式与或图表示能否有效建模长期视频追踪中未知目标的变化？
• RQ2 如何在保持正负样本纯净性的前提下，高效实现在线学习？
• RQ3 能否利用动态规划联合推断时空维度上的目标状态，以提升追踪精度？
• RQ4 在在线隐式结构学习过程中，如何控制模型复杂度？
• RQ5 不可追踪性能否作为可靠信号，在模型不确定性出现时触发结构重学习？

主要发现

• 在TB-100/50/CVPR2013基准上，AOGTracker优于最先进追踪器，包括两种基于深度学习的方法。
• 在VOT2013中，AOGTracker达到最高准确率与最佳总体排名，尽管鲁棒性略低于三支顶尖追踪器。
• 在VOT2014中，AOGTracker表现与最先进追踪器相当，展现出在多样化视觉挑战下的强泛化能力。
• 在VOT2015中，AOGTracker取得51%的准确率，在62个追踪器中排名第三。
• 在VOT-TIR2015（热成像）中，AOGTracker取得65%的准确率，与28个追踪器并列第三。
• 该方法在无需依赖预训练模型的前提下，对光照变化、部分遮挡与背景杂波表现出鲁棒性。