[论文解读] Non-rigid Object Tracking via Deep Multi-scale Spatial-temporal Discriminative Saliency Maps

Pingping Zhang, Wei Liu+5 more|arXiv (Cornell University)|Feb 22, 2018

Video Surveillance and Tracking Methods参考文献 68被引用 12

一句话总结

本文提出了一种基于深度学习的非刚性物体跟踪方法，通过利用多尺度时空判别性显著图实现精确的像素级跟踪。通过采用定制的全卷积网络（TFCN）以及多区域显著图的加权熵融合，该方法在具有挑战性的序列上提升了跟踪精度和鲁棒性，在非刚性数据集上的边界框和分割重叠率方面均优于最先进方法。

ABSTRACT

In this paper, we propose a novel effective non-rigid object tracking framework based on the spatial-temporal consistent saliency detection. In contrast to most existing trackers that utilize a bounding box to specify the tracked target, the proposed framework can extract accurate regions of the target as tracking outputs. It achieves a better description of the non-rigid objects and reduces the background pollution for the tracking model. Furthermore, our model has several unique features. First, a tailored fully convolutional neural network (TFCN) is developed to model the local saliency prior for a given image region, which not only provides the pixel-wise outputs but also integrates the semantic information. Second, a novel multi-scale multi-region mechanism is proposed to generate local saliency maps that effectively consider visual perceptions with different spatial layouts and scale variations. Subsequently, local saliency maps are fused via a weighted entropy method, resulting in a final discriminative saliency map. Finally, we present a non-rigid object tracking algorithm based on the predicted saliency maps. By utilizing a spatial-temporal consistent saliency map (STCSM), we conduct target-background classification and use a simple fine-tuning scheme for online updating. Extensive experiments demonstrate that the proposed algorithm achieves competitive performance in both saliency detection and visual tracking, especially outperforming other related trackers on the non-rigid object tracking datasets.

研究动机与目标

• 为解决在需要精确像素级分割的情况下跟踪非刚性物体的挑战，避免基于边界框方法中常见的背景污染问题。
• 将时空一致性整合到显著性检测中，以提升在遮挡、光照变化和姿态变化下的跟踪鲁棒性。
• 开发一种深度学习框架，通过建模局部显著性先验、语义理解与尺度感知能力，实现更优的目标-背景区分。
• 通过简单的微调方案实现在线模型自适应，以捕捉随时间变化的外观特征。

提出的方法

• 在显著性检测数据集上训练定制的全卷积神经网络（TFCN），以生成具有像素级输出并融合语义上下文的局部显著图。
• 采用多尺度多区域机制，通过分析不同空间布局和尺度下的图像区域，生成多个局部显著图。
• 利用加权熵方法融合显著图，生成最终的判别性显著图，突出目标并抑制背景。
• 使用时空一致性显著图（STCSM）模型实现跟踪过程中的在线目标-背景分类。
• 跟踪器采用简单的在线微调方案，以更新模型并适应帧间外观变化。
• 在标准基准测试（包括OTB-50和非刚性跟踪数据集）上，通过边界框和分割重叠率对方法进行评估。

实验结果

研究问题

• RQ1 能否有效将深度显著性检测框架适配到非刚性物体跟踪中，通过生成精确的像素级分割来提升性能？
• RQ2 多尺度和多区域显著图生成在应对尺度变化和空间布局变化时，如何增强跟踪的鲁棒性？
• RQ3 显著图中的时空一致性在遮挡和外观漂移条件下，能在多大程度上提升跟踪性能？
• RQ4 加权熵融合的显著图是否能优于单尺度或非融合方法，在判别性目标定位方面表现更优？
• RQ5 所提出方法在刚性与非刚性物体跟踪基准测试中的泛化能力如何？

主要发现

• 所提出的跟踪器在非刚性跟踪序列上实现了55.0%的平均分割重叠率，显著优于基线变体和最先进方法。
• 在具有挑战性的Diving序列中，该跟踪器在目标完全被遮挡后仍能成功恢复目标，而其他跟踪器则无法重新定位。
• 消融实验表明，若移除尺度依赖的显著图融合或时间累积机制，性能将从55.0%下降至36.8%，证明两个组件均至关重要。
• 在OTB-50基准测试中表现具有竞争力（精度 = 0.842，成功率 = 0.561），在两项指标上均优于第二好的非刚性跟踪器（OGBT）。
• 定性结果表明，跟踪输出更平滑，边界更清晰，且在复杂序列（如Gymnastics和High-jump）中保留了更好的语义上下文信息。
• 该跟踪器生成像素级显著图，相比基于边界框的方法提供了更丰富的输出信息，尤其对形变和关节连接物体具有显著优势。