[论文解读] Real-Time Visual Tracking: Promoting the Robustness of Correlation Filter Learning

Yao Sui, Ziming Zhang+3 more|arXiv (Cornell University)|Aug 29, 2016

Video Surveillance and Tracking Methods参考文献 37被引用 4

一句话总结

本文提出三种实时视觉追踪器，通过引入促进稀疏性的损失函数——ℓ₁、ℓ₁ℓ₂ 和 ℓ₂,₁，而非标准的 ℓ₂ 损失，以增强相关滤波器的鲁棒性。通过利用响应的各向异性并减少对外观变化的过拟合，该方法在遮挡、光照变化和噪声条件下均提升了追踪性能，且连续帧中峰值响应的敏感性可作为可靠的性能预测指标。

ABSTRACT

Correlation filtering based tracking model has received lots of attention and achieved great success in real-time tracking, however, the lost function in current correlation filtering paradigm could not reliably response to the appearance changes caused by occlusion and illumination variations. This study intends to promote the robustness of the correlation filter learning. By exploiting the anisotropy of the filter response, three sparsity related loss functions are proposed to alleviate the overfitting issue of previous methods and improve the overall tracking performance. As a result, three real-time trackers are implemented. Extensive experiments in various challenging situations demonstrate that the robustness of the learned correlation filter has been greatly improved via the designed loss functions. In addition, the study reveals, from an experimental perspective, how different loss functions essentially influence the tracking performance. An important conclusion is that the sensitivity of the peak values of the filter in successive frames is consistent with the tracking performance. This is a useful reference criterion in designing a robust correlation filter for visual tracking.

研究动机与目标

• 解决由于遮挡和光照变化等外观变化导致的相关滤波器学习中的过拟合问题。
• 通过用促进稀疏性的损失函数替代标准的 ℓ₂ 损失，提升实时视觉追踪的鲁棒性。
• 通过实验分析探究不同损失函数对追踪性能的影响。
• 建立一种新准则——滤波器峰值响应在帧间的敏感性，用于评估和设计鲁棒的相关滤波器。

提出的方法

• 引入三种与稀疏性相关的损失函数：ℓ₁、ℓ₁ℓ₂ 和 ℓ₂,₁，以替代相关滤波器学习中的标准 ℓ₂ 损失。
• 通过为空间上不同的循环移位样本分配不同的响应值，利用滤波器响应的各向异性，避免强制统一响应。
• 在频域中通过 FFT 公式化学习问题，以在应用鲁棒损失函数的同时保持计算效率。
• 定义敏感性度量 s = Σ(pᵢ − pₘ)²，以量化帧间峰值值的波动，将其与追踪鲁棒性关联。
• 使用循环移位方法从目标区域生成训练样本，以保持循环结构，实现快速计算。
• 使用能容忍外观变化期间大误差的鲁棒损失函数优化滤波器，从而减少过拟合。

实验结果

研究问题

• RQ1 不同损失函数如何影响基于相关滤波器的追踪器的鲁棒性和性能？
• RQ2 促进稀疏性的损失函数能否减少对遮挡和光照变化等外观变化的过拟合？
• RQ3 滤波器峰值响应在连续帧间的敏感性是否是追踪性能的可靠预测指标？
• RQ4 在噪声或受损视频帧中，所提方法与 KCF 追踪器相比表现如何？
• RQ5 鲁棒损失函数在挑战性视觉条件下在多大程度上提升了追踪稳定性？

主要发现

• 使用 ℓ₁、ℓ₁ℓ₂ 和 ℓ₂,₁ 损失函数的所提追踪器在标准基准上显著优于 KCF 追踪器，尤其在遮挡和光照变化条件下表现更优。
• 滤波器峰值响应在帧间波动的敏感性度量 s 与追踪性能强相关：s 值越低，鲁棒性越强，精度越高。
• 依赖 ℓ₂ 损失的 KCF 追踪器表现出高敏感性（s 值大），在外观变化下易出现不稳定，而所提方法则表现出更低的敏感性和更高的稳定性。
• 在像素受噪声污染的帧中，所提追踪器可维持性能直至约 20% 的像素被破坏，而 KCF 即在 5% 污染时性能急剧下降。
• 实验分析证实，鲁棒损失函数通过允许响应拟合中存在较大误差，有效减少了过拟合，尤其在显著外观变化时。
• 本研究确立了帧间滤波器峰值响应敏感性作为设计鲁棒相关滤波器的有效且实用的准则。