[论文解读] Prediction-Tracking-Segmentation

Jianren Wang, Yihui He+3 more|ArXiv.org|Apr 5, 2019

Video Surveillance and Tracking Methods参考文献 72被引用 10

一句话总结

本文提出预测-跟踪-分割（PTS）框架，通过将运动预测与自适应搜索区域相结合，统一提升了视觉跟踪与视频实例分割的性能。通过使用卡尔曼滤波器预测目标位置，并利用局部化、速度感知的搜索区域优化跟踪过程，PTS在VOT 2016、VOT 2018、DAVIS 2016和DAVIS 2017基准上达到最先进性能，显著提升了对遮挡、干扰物和相机运动的鲁棒性。

ABSTRACT

We introduce a prediction driven method for visual tracking and segmentation in videos. Instead of solely relying on matching with appearance cues for tracking, we build a predictive model which guides finding more accurate tracking regions efficiently. With the proposed prediction mechanism, we improve the model robustness against distractions and occlusions during tracking. We demonstrate significant improvements over state-of-the-art methods not only on visual tracking tasks (VOT 2016 and VOT 2018) but also on video segmentation datasets (DAVIS 2016 and DAVIS 2017).

研究动机与目标

• 解决仅依赖外观的跟踪方法在处理干扰物、遮挡和相机运动时的局限性。
• 通过引入受人类视觉认知启发的预测建模，提升跟踪与分割的准确性。
• 通过基于预测运动的自适应、局部化搜索区域，减少计算开销。
• 将预测、跟踪与分割统一为一个端到端的框架，以提升视频理解能力。
• 在高运动与复杂背景的视频场景中，验证运动预测与自适应搜索的有效性。

提出的方法

• 使用基于卡尔曼滤波器的预测模块，估算目标对象的未来位置，实现相机运动与目标运动的解耦。
• 应用自适应搜索区域，根据预测的目标速度与尺寸动态调整其大小与位置，从而减小搜索空间。
• 将预测区域作为先验信息，集成至基于孪生网络的跟踪器（SiamMask）中，提升定位精度。
• 利用下一帧的外观特征，结合预测结果对跟踪与分割结果进行优化。
• 通过迭代更新预测模型，利用优化后的跟踪输出，实现时间上的一致性。
• 采用两阶段推理：首先预测目标位置，然后利用局部特征精炼检测与分割结果。

实验结果

研究问题

• RQ1 运动预测能否在遮挡与干扰物条件下提升跟踪的鲁棒性？
• RQ2 基于预测运动的自适应搜索区域在多大程度上提升了跟踪与分割的准确性？
• RQ3 将预测模块整合进跟踪框架后，对VOT与DAVIS等标准基准的性能提升程度如何？
• RQ4 统一的预测-跟踪-分割框架是否能超越专用模型在视频理解任务中的表现？
• RQ5 与仅依赖外观的基线方法相比，该方法在处理高速运动目标与相机运动时表现如何？

主要发现

• 在VOT 2018上，PTS取得0.397的EAO分数，超过SiamMask（0.380），展现出更强的鲁棒性与准确性。
• 在DAVIS 2016上，PTS将交并比（J）从SiamMask的0.713提升至0.732，F-measure从0.674提升至0.692。
• 在DAVIS 2017上，PTS将J从0.543提升至0.554，F从0.585提升至0.604，显示出分割质量的持续提升。
• 消融实验表明，预测模块对EAO分数的提升贡献最大（0.394 vs. 基线0.380），而跟踪模块仅带来微小增益。
• 定性结果表明，PTS在快速运动（如Bolt）与相机抖动（如汽车场景）下仍能保持高跟踪精度，避免身份切换与干扰。
• PTS生成的分割掩码更完整、更准确，例如能正确捕捉狗的尾巴，并将人物与肥皂箱分离，而SiamMask则出现失败。