[论文解读] Part-based Tracking by Sampling

George De Ath, Richard Everson|arXiv (Cornell University)|May 22, 2018

Video Surveillance and Tracking Methods参考文献 64被引用 5

一句话总结

本文提出了一种基于采样的部件跟踪（Part-based Tracking by Sampling, PBTS）的新颖部件化视觉跟踪框架，通过使用稀疏的、基于采样的颜色模型以及基于分割的补丁放置策略，提升了在复杂视频序列中的目标跟踪性能。该方法在VOT2018和OTB100基准测试中取得了最先进水平的性能表现，消融实验表明补丁放置机制对性能提升的贡献最大。

ABSTRACT

We propose a novel part-based method for tracking an arbitrary object in challenging video sequences. The colour distribution of tracked image patches on the target object are represented by pairs of RGB samples and counts of how many pixels in the patch are similar to them. Patches are placed by segmenting the object in the given bounding box and placing patches in homogeneous regions of the object. These are located in subsequent image frames by applying non-shearing affine transformations to the patches' previous locations, locally optimising the best of these, and evaluating their quality using a modified Bhattacharyya distance. In experiments carried out on VOT2018 and OTB100 benchmarks, the tracker achieves higher performance than all other part-based trackers. An ablation study is used to reveal the effectiveness of each tracking component, with largest performance gains found when using the patch placement scheme.

研究动机与目标

• 为解决在存在遮挡、光照变化和运动形变等复杂视频序列中跟踪任意目标的挑战。
• 克服现有部件化跟踪器将补丁放置在背景像素上的局限性，从而导致跟踪漂移与失败的问题。
• 开发一种鲁棒的、无需模型假设的跟踪框架，采用稀疏的非参数化颜色建模与高效的运动估计方法。
• 通过消融实验评估各组件（补丁放置、模型表示、局部优化与模型更新）的贡献。

提出的方法

• 使用RGB样本及其计数来表示对象部件，为每个补丁构建非参数化颜色分布模型。
• 利用alpha抠图与超像素分割技术，在初始边界框内识别对象区域，并将补丁放置于同质对象区域的中心。
• 应用非剪切仿射变换来预测后续帧中补丁的位置，随后通过改进的巴氏距离进行局部优化。
• 采用带有可学习参数 $ b $ 的改进巴氏距离来评估补丁相似性，提升对外观变化的鲁棒性。
• 采用全局到局部的搜索策略：首先应用全局仿射变换，再通过局部优化精炼位置，以应对刚性运动的小偏差。
• 通过参数 $ \beta_s $ 和 $ \beta_c $ 实现自适应模型更新机制，根据跟踪置信度更新补丁模型。

实验结果

研究问题

• RQ1 与均匀分布或网格状放置相比，基于对象分割的所提补丁放置策略在跟踪性能上表现如何？
• RQ2 在外观变化条件下，基于采样的非参数化颜色模型在多大程度上提升了鲁棒性？
• RQ3 全局非剪切仿射变换与局部优化的结合在处理具有小范围局部形变的对象运动时有多高效？
• RQ4 各组件（补丁放置、模型更新、局部优化、距离度量）对整体跟踪精度的相对贡献如何？
• RQ5 在极端条件下（如大幅光照变化、遮挡与目标旋转）下，PBTS相较于最先进跟踪器的表现如何？

主要发现

• PBTS在VOT2018和OTB100两个基准测试中均优于所有其他部件化跟踪器。
• 消融实验表明，基于对象分割的补丁放置机制对性能提升贡献最大，显著减少了对背景的误跟踪。
• 使用 $ b = 1.4 $（经优化）的改进巴氏距离相比默认值 $ b = 1/2 $ 表现更优，证实了距离度量调整的有效性。
• 局部优化与模型更新组件均对跟踪鲁棒性有显著贡献，前者提升精度，后者维持模型随时间的准确性。
• 失败案例揭示了在极端场景下的局限性：分割效果差会导致补丁锚定在背景上，且当目标与背景高度相似时（如雪地上的兔子）易引发漂移。
• PBTS在motocross1和zebrafish1等序列中成功应对了大幅光照变化、目标旋转与运动模糊，优于ANT、DPT和LGT等方法。