[论文解读] Object Detection, Tracking, and Motion Segmentation for Object-level Video Segmentation

Benjamin Drayer, Thomas Brox|arXiv (Cornell University)|Aug 10, 2016

Visual Attention and Saliency Detection参考文献 25被引用 30

一句话总结

该论文提出了一种弱监督视频实例分割方法，通过结合现成的目标检测器、运动分割与外观线索，生成时序一致且带有类别标签的物体轨迹。通过利用检测先验以及运动/纹理线索，该方法在 YouTube Objects 数据集上取得了当前最优性能（比之前 SOTA 提高 3%），并在四个数据集上均表现出鲁棒性，克服了纯运动方法在静态物体或相机运动场景下的局限性。

ABSTRACT

We present an approach for object segmentation in videos that combines frame-level object detection with concepts from object tracking and motion segmentation. The approach extracts temporally consistent object tubes based on an off-the-shelf detector. Besides the class label for each tube, this provides a location prior that is independent of motion. For the final video segmentation, we combine this information with motion cues. The method overcomes the typical problems of weakly supervised/unsupervised video segmentation, such as scenes with no motion, dominant camera motion, and objects that move as a unit. In contrast to most tracking methods, it provides an accurate, temporally consistent segmentation of each object. We report results on four video segmentation datasets: YouTube Objects, SegTrackv2, egoMotion, and FBMS.

研究动机与目标

• 解决纯自下而上的运动分割方法在相机运动、静态物体或共同运动物体场景下的局限性。
• 仅使用预训练的目标检测器作为弱监督信号，实现无需人工交互的准确、时序一致的视频分割。
• 结合基于检测的定位先验与运动和外观线索，以提升分割精度。
• 在多样化的视频数据集上实现鲁棒性能，包括物体进入、遮挡等挑战性场景。
• 为每个分割物体提供类别标签，支持语义级别的视频理解。

提出的方法

• 通过使用现成检测器的检测跟踪方法提取物体轨迹，提供与运动无关的强空间和类别先验。
• 计算光流，并在马尔可夫随机场（MRF）框架中生成基于运动的单变量和双变量势函数。
• 利用基于超像素的分割，通过 GrabCut 进行优化，其单变量势函数来源于检测置信度和运动线索。
• 通过相关性步骤将帧间检测提议关联，构建一致的三维轨迹，确保时序一致性。
• 通过优化结合外观、运动和检测线索的 MRF 获得最终分割结果。
• 当某类物体无检测器可用时，系统自动降级为自下而上的运动分割模式。

实验结果

研究问题

• RQ1 能否有效结合目标检测与运动和外观线索，以提升在挑战性场景下的视频分割鲁棒性？
• RQ2 基于检测的先验在相机运动占主导或存在静态物体的视频中，如何提升分割性能？
• RQ3 将检测跟踪与运动分割相结合，与纯自下而上或完全监督方法相比，其性能提升程度如何？
• RQ4 该方法如何处理物体进入、遮挡以及共同运动物体（如骑手与马）等情形？
• RQ5 各组件（检测、运动、外观）对最终分割精度的贡献分别是什么？

主要发现

• 在 YouTube Objects 数据集上，该方法达到 73.1% 的平均交并比（IoU），比之前 SOTA 提高 3%。
• 在 SegTrackv2 数据集上，该方法达到 73.1% 的 F-measure，展现出在含运动和遮挡的挑战性序列中的强劲性能。
• 在 egoMotion 数据集上，由于检测先验的存在，该方法成功分割了静态物体（如停靠的汽车），而纯运动方法在此类场景中会失效。
• 在 FBMS 数据集上，该方法达到 73.18% 的 F-measure，正确分割了 69 个物体中的 23 个，尽管对静态物体缺少标注，仍优于大多数基线方法。
• 该方法在帧数上表现出线性可扩展性，平均每帧耗时约 8 秒，主要耗时来自检测（1.53 秒）、GrabCut（2.1 秒）和光流计算（1.04 秒）。