[论文解读] State-Aware Tracker for Real-Time Video Object Segmentation

Xi Chen, Zuoxin Li+4 more|arXiv (Cornell University)|Mar 1, 2020

Video Surveillance and Tracking Methods参考文献 34被引用 9

一句话总结

本文提出状态感知追踪器（SAT），一种实时半监督视频实例分割方法，将每个目标建模为轨迹片段（tracklet），并通过双反馈机制实现状态感知的自适应。通过利用帧间一致性与动态全局特征建模，SAT在DAVIS2017-Val上达到39 FPS下的72.3% J&F均值，展现出优异的速度-精度权衡。

ABSTRACT

In this work, we address the task of semi-supervised video object segmentation(VOS) and explore how to make efficient use of video property to tackle the challenge of semi-supervision. We propose a novel pipeline called State-Aware Tracker(SAT), which can produce accurate segmentation results with real-time speed. For higher efficiency, SAT takes advantage of the inter-frame consistency and deals with each target object as a tracklet. For more stable and robust performance over video sequences, SAT gets awareness for each state and makes self-adaptation via two feedback loops. One loop assists SAT in generating more stable tracklets. The other loop helps to construct a more robust and holistic target representation. SAT achieves a promising result of 72.3% J&F mean with 39 FPS on DAVIS2017-Val dataset, which shows a decent trade-off between efficiency and accuracy. Code will be released at github.com/MegviiDetection/video_analyst.

研究动机与目标

• 解决在实时约束与复杂视频动态下的半监督视频实例分割（VOS）挑战。
• 通过利用时序上下文与状态感知能力，提升对遮挡、快速运动与外观变化的鲁棒性。
• 克服先前方法中忽略帧间关系或采用固定传播策略所导致的效率低下问题。
• 构建统一的端到端流程，在高精度与实时推理速度之间实现平衡，以支持实际部署。
• 通过自适应反馈机制实现稳定长序列追踪，提升裁剪区域与全局表征建模的质量。

提出的方法

• 将每个目标对象建模为轨迹片段（tracklet），以利用帧间一致性并降低计算开销。
• 引入状态估计模块，评估分割置信度，并为每个目标分配状态得分以指导自适应调整。
• 实施裁剪策略循环（Cropping Strategy Loop），根据当前状态得分动态选择边界框预测方法。
• 设计全局建模循环（Global Modeling Loop），利用历史帧的时序上下文更新整体目标表征。
• 在联合分割网络中融合显著性编码器、相似性编码器与动态全局特征，实现掩码预测。
• 利用状态估计的反馈，实时优化搜索区域裁剪与全局特征表征。

实验结果

研究问题

• RQ1 如何高效利用视频帧间一致性，以在半监督VOS中提升分割精度与推理速度？
• RQ2 哪些机制能够在遮挡、运动模糊与显著外观变化等复杂视频状态下实现鲁棒性能？
• RQ3 双反馈循环系统是否能在不牺牲推理速度的前提下，提升追踪稳定性与表征质量？
• RQ4 与逐帧或单帧上下文相比，动态全局特征表征在多大程度上能增强长序列分割的鲁棒性？
• RQ5 与当前最先进方法相比，该方法在速度与精度之间实现了怎样的权衡？

主要发现

• SAT在DAVIS2017-Val数据集上达到72.3% J&F均值，其速度-精度平衡优于大多数现有方法。
• SAT在DAVIS2017-Val上推理速度达39 FPS，显著快于许多高精度方法，如STM（6.25 FPS）与RANet（30 FPS）。
• 在YouTube-VOS上，SAT实现83.1% J&F均值，尽管为实时推理，仍位列当前最先进离线方法前列。
• 消融实验表明，裁剪策略循环与全局建模循环均对性能提升有显著贡献。
• 采用AlexNet主干网络的快速版本SAT（Ours-f）达到60 FPS，同时保持69.5% J&F，证明其在不同硬件约束下的可扩展性。
• 定性结果表明，该方法对干扰物、遮挡、运动模糊与大姿态变化具有强鲁棒性，验证了反馈机制的有效性。