[论文解读] Saliency-Enhanced Robust Visual Tracking

Çağlar Aytekin, Francesco Cricri+1 more|arXiv (Cornell University)|Feb 8, 2018

Video Surveillance and Tracking Methods参考文献 12被引用 3

一句话总结

本文提出 ECOSAL，一种增强显著性响应的视觉追踪方法，将深度显著目标检测特征整合进基于离散相关滤波（DCF）的框架中。通过根据时间一致性自适应加权显著性响应，该方法提升了对视角变化和外观变化的鲁棒性，在 OTB-2013 和 UAV-123 基准测试的复杂序列上实现了最先进性能，速度达 9.3 fps。

ABSTRACT

Discrete correlation filter (DCF) based trackers have shown considerable success in visual object tracking. These trackers often make use of low to mid level features such as histogram of gradients (HoG) and mid-layer activations from convolution neural networks (CNNs). We argue that including semantically higher level information to the tracked features may provide further robustness to challenging cases such as viewpoint changes. Deep salient object detection is one example of such high level features, as it make use of semantic information to highlight the important regions in the given scene. In this work, we propose an improvement over DCF based trackers by combining saliency based and other features based filter responses. This combination is performed with an adaptive weight on the saliency based filter responses, which is automatically selected according to the temporal consistency of visual saliency. We show that our method consistently improves a baseline DCF based tracker especially in challenging cases and performs superior to the state-of-the-art. Our improved tracker operates at 9.3 fps, introducing a small computational burden over the baseline which operates at 11 fps.

研究动机与目标

• 提升基于 DCF 的视觉追踪器在视角变化和外观变化等复杂场景下的鲁棒性。
• 解决低级和中级特征（如 HoG、CNN 激活）在应对大范围外观和视角变化时的局限性。
• 利用深度显著目标检测提供的语义级别更高信息，提升追踪可靠性。
• 设计一种自适应融合机制，根据显著性特征的时间一致性动态调整其权重。
• 通过集成快速且准确的显著性检测，在不引入显著计算开销的前提下保持实时性能。

提出的方法

• 在 ECO 跟踪器框架中引入深度显著目标检测输出作为额外特征流。
• 为显著性特征和传统特征（HoG、VGG-16 conv1/conv5）分别学习独立的相关滤波器，实现独立处理。
• 应用自适应加权机制，根据显著性特征在时间序列上的稳定性动态调整其对跟踪结果的影响。
• 从完整搜索区域提取显著性特征，但使用更大上下文区域进行显著性预测，以提升定位精度。
• 采用基于置信度的度量方法，在追踪过程中抑制不一致的显著性响应，降低不可靠检测带来的噪声。
• 基于组合滤波响应更新追踪器，其中自适应权重根据每帧显著性响应的稳定性动态调整。

实验结果

研究问题

• RQ1 将深度显著目标检测特征整合进 DCF 跟踪器是否能提升其在复杂视觉追踪场景下的鲁棒性？
• RQ2 如何在 DCF 框架中有效融合已知具有语义鲁棒性的显著性特征与低级和中级特征？
• RQ3 显著性图的时间不一致性对追踪器性能有何影响？能否有效缓解？
• RQ4 所提出的自适应融合策略是否在准确性和鲁棒性方面优于固定权重或拼接融合方法？
• RQ5 能否在引入显著性特征的同时保持极小的计算开销，以确保实时性能？

主要发现

• 在 OTB-2013 数据集的一次遍历评估中，ECOSAL 的平均准确率达到 0.715，优于包括 ECO*、MDNet、SANet、MCPF 和 CCOT 在内的最先进方法。
• 在 UAV-123 基准测试中，ECOSAL 在 12 个序列中的 10 个复杂场景下表现最优，所有序列的平均准确率达到 0.707，为最高水平。
• 除完全遮挡（FO）和低分辨率（LR）情况外，ECOSAL 在所有复杂场景下均显著优于基线 ECO，其中 FO 和 LR 情况下性能略差，原因在于空间支持有限。
• 鲁棒性分析表明，ECOSAL 在空间挑战（如光照变化、遮挡）和时间挑战（如平面内旋转、形变）方面均显著优于 ECO。
• 该方法运行速度为 9.3 fps，相较于基线 ECO（11 fps）仅引入了微小的计算开销，证明了其高效的实时性能。
• 自适应加权机制成功抑制了时间上不一致的显著性预测，显著提升了在外观和视角变化下的追踪稳定性。