[论文解读] Robust Estimation of Similarity Transformation for Visual Object Tracking

Yang Li, Jianke Zhu+4 more|arXiv (Cornell University)|Dec 14, 2017

Video Surveillance and Tracking Methods被引用 14

一句话总结

本文提出了一种基于鲁棒相关滤波的追踪器，通过块坐标下降（BCD）框架高效估计4-DoF相似变换（平移、缩放和旋转）。通过将问题分解为两个2-DoF子问题，并采用对数极坐标相位相关法实现缩放-旋转的联合估计，该方法在OTB和POT基准上实现了实时性能和最先进（SOTA）的准确性，优于深度学习和传统追踪器在复杂场景下的表现。

ABSTRACT

Most of existing correlation filter-based tracking approaches only estimate simple axis-aligned bounding boxes, and very few of them is capable of recovering the underlying similarity transformation. To tackle this challenging problem, in this paper, we propose a new correlation filter-based tracker with a novel robust estimation of similarity transformation on the large displacements. In order to efficiently search in such a large 4-DoF space in real-time, we formulate the problem into two 2-DoF sub-problems and apply an efficient Block Coordinates Descent solver to optimize the estimation result. Specifically, we employ an efficient phase correlation scheme to deal with both scale and rotation changes simultaneously in log-polar coordinates. Moreover, a variant of correlation filter is used to predict the translational motion individually. Our experimental results demonstrate that the proposed tracker achieves very promising prediction performance compared with the state-of-the-art visual object tracking methods while still retaining the advantages of high efficiency and simplicity in conventional correlation filter-based tracking methods.

研究动机与目标

• 为解决基于相关滤波的追踪器在大位移场景下（涉及缩放和旋转）缺乏鲁棒的相似变换估计问题。
• 克服现有方法依赖密集采样进行缩放和旋转估计所导致的高计算成本和有限精度问题。
• 实现在无需预定义采样网格或大量重新计算的前提下，高效且精确地完成4-DoF追踪（平移、缩放、旋转）。
• 在快速运动、遮挡和大尺度变化等复杂条件下，提升追踪的鲁棒性和准确性。

提出的方法

• 该方法将4-DoF相似变换估计建模为联合优化问题，分解为两个2-DoF子问题：平移和缩放-旋转。
• 采用块坐标下降（BCD）求解器，迭代优化平移和缩放-旋转参数，确保在完整4-DoF空间中的收敛性和稳定性。
• 在对数极坐标中采用相位相关方案，实现缩放和旋转变化的同时且高效的估计。
• 使用一种快速相关滤波变体独立预测平移运动，保持实时效率。
• 追踪器每帧仅对特征空间采样一次，避免了昂贵的重复重采样。
• 该框架实现为轻量级、高效的流水线，可无缝集成到现有相关滤波追踪器中。

实验结果

研究问题

• RQ1 基于相关滤波的追踪器是否能在无需密集采样的情况下，实时且鲁棒地估计4-DoF相似变换（平移、缩放、旋转）？
• RQ2 所提出的基于BCD的优化框架在大位移场景下如何提升追踪精度和稳定性？
• RQ3 对数极坐标相位相关法在效率和精度方面相较于传统缩放-旋转估计方法的优越程度如何？
• RQ4 该方法在遮挡、运动模糊和光照变化等多样化追踪挑战下的泛化能力如何？
• RQ5 与基于深度学习和传统追踪器相比，该方法在标准基准上是否实现了最先进性能？

主要发现

• 在OTB-2015基准上，所提追踪器取得51.31%的成功率和50.64%的精度，分别超过第二名追踪器（ECO-HC）13%以上。
• 在POT基准上，该追踪器在210个平面追踪序列中取得51.31%的精度和50.64%的成功率，显著优于基于深度学习的方法。
• 与LDES-NoBCD变体相比，BCD框架在缩放和无约束视频类别中分别将精度提升14%、成功率提升5%。
• 该方法在POT基准的大多数评估指标中排名第一，展现出卓越的泛化能力和鲁棒性。
• 对数极坐标相位相关方案的性能与主流方法相当，同时实现了极低计算开销的联合缩放-旋转估计。
• 该追踪器在标准PC上保持20–30 FPS的实时性能，证明了其高效性且未牺牲精度。