[论文解读] Super-Trajectory for Video Segmentation

Wenguan Wang, Jianbing Shen+2 more|arXiv (Cornell University)|Feb 28, 2017

Video Surveillance and Tracking Methods参考文献 39被引用 12

一句话总结

本文提出 Super-Trajectory (STV)，一种半监督视频分割方法，通过改进的密度峰值聚类算法，将紧凑且运动一致的轨迹聚合成时空一致的超轨迹。通过建模长期运动，并利用反向追踪和目标重相遇机制，STV 在 DAVIS 数据集上实现了 0.736 的平均 IoU，性能优于以往方法，在处理遮挡、形变和外观变化方面表现更优。

ABSTRACT

We introduce a novel semi-supervised video segmentation approach based on an efficient video representation, called as "super-trajectory". Each super-trajectory corresponds to a group of compact trajectories that exhibit consistent motion patterns, similar appearance and close spatiotemporal relationships. We generate trajectories using a probabilistic model, which handles occlusions and drifts in a robust and natural way. To reliably group trajectories, we adopt a modified version of the density peaks based clustering algorithm that allows capturing rich spatiotemporal relations among trajectories in the clustering process. The presented video representation is discriminative enough to accurately propagate the initial annotations in the first frame onto the remaining video frames. Extensive experimental analysis on challenging benchmarks demonstrate our method is capable of distinguishing the target objects from complex backgrounds and even reidentifying them after long-term occlusions.

研究动机与目标

• 解决在遮挡、运动模糊和外观变化等复杂条件下实现准确视频对象分割的挑战。
• 开发一种鲁棒的视频表征，以捕捉跨帧的长期运动、空间邻近性及外观一致性。
• 通过将轨迹聚合成更高阶的时空单元，提升半监督视频分割中的标签传播性能。
• 通过概率轨迹生成模型与反向追踪策略，降低对漂移和遮挡的敏感性。
• 在 DAVIS 和 SegTrack-V2 等基准数据集上超越现有最先进方法。

提出的方法

• 利用马尔可夫概率模型生成轨迹，通过建模时间上的位置转移，自然地处理遮挡与漂移。
• 采用改进的密度峰值聚类（DPC）算法，基于局部密度与距离对轨迹进行聚类，实现鲁棒且直观的超轨迹形成。
• 超轨迹被定义为具有一致运动、相似外观及紧密时空邻近性的轨迹组合。
• 应用反向追踪以排除源自帧外的点，减少相机运动带来的干扰。
• 利用目标重相遇模式，在遮挡后重新识别目标，增强长期追踪的鲁棒性。
• 在超轨迹层面执行分割，利用时空一致性从第一帧的初始标注传播标签。

Figure 1: Our video segmentation method takes the first frame annotation as initialization (left). Leveraging on super-trajectories, the segmentation process achieves superior results even for challenging scenarios including heavy occlusions, complex appearance variations, and large shape deformatio

实验结果

研究问题

• RQ1 基于轨迹的视频表征，若将运动一致且空间邻近的点聚类，是否能提升在遮挡与形变情况下的分割鲁棒性？
• RQ2 改进的密度峰值聚类算法在形成对视频分割有意义的超轨迹方面，与经典聚类方法相比表现如何？
• RQ3 概率轨迹建模在多大程度上可减少漂移并提升长期视频分割的鲁棒性？
• RQ4 反向追踪与重相遇分析在完全遮挡后恢复分割目标方面有多有效？
• RQ5 在复杂视频序列中，基于超轨迹的分割是否优于像素级或块级传播？

主要发现

• 所提出的 STV 方法在 DAVIS 2016 基准测试中达到 0.736 的平均交并比（IoU）分数，优于所有对比的最先进方法。
• 在 SegTrack-V2 数据集上，STV 达到 IoU 0.781，显著优于第二名方法（JOT 的 0.718）。
• 消融实验表明，所提出的轨迹生成方法获得 0.736 的 IoU，优于 LTM（0.718）与 DAD（0.654），证明其优越性。
• 参数分析显示，在 K=1200 个空间网格与 N=8 个最近邻时性能最优，超过该值后性能趋于平稳。
• 定性结果表明，即使在快速运动（如 breakdance-flare）、大形变（如 dog-agility）和长时间遮挡（如 libby）等挑战性场景中，分割依然准确。
• 该方法通过利用时空重相遇模式，有效实现遮挡后的目标重识别，显著提升长期追踪的稳定性。

Figure 2: Illustration of initial super-trajectory generation. (a) The arrows indicate trajectories and the dots indicate the initial location of trajectory. (b) We roughly divide all the trajectories into $K$ groups with a given number of spatial grids $K=4$ .