[论文解读] The 2018 DAVIS Challenge on Video Object Segmentation

Sergi Caelles, Alberto Montes+5 more|arXiv (Cornell University)|Mar 1, 2018

Visual Attention and Saliency Detection参考文献 13被引用 254

一句话总结

本文介绍了2018年DAVIS挑战赛，设有半监督主轨道和一个新的交互式分割 teaser 轨道，以及交互式基线和用于评估的模拟涂抹框架。

ABSTRACT

We present the 2018 DAVIS Challenge on Video Object Segmentation, a public competition specifically designed for the task of video object segmentation. It builds upon the DAVIS 2017 dataset, which was presented in the previous edition of the DAVIS Challenge, and added 100 videos with multiple objects per sequence to the original DAVIS 2016 dataset. Motivated by the analysis of the results of the 2017 edition, the main track of the competition will be the same than in the previous edition (segmentation given the full mask of the objects in the first frame -- semi-supervised scenario). This edition, however, also adds an interactive segmentation teaser track, where the participants will interact with a web service simulating the input of a human that provides scribbles to iteratively improve the result.

研究动机与目标

• 激励并组织一个基于2017年扩展的DAVIS数据集的视频目标分割公开基准。
• 提供一个使用第一帧掩码来分割后续所有帧的半监督主轨道。
• 引入一个带有模拟人类-in-the-loop 的交互式分割 teaser 轨道，用以研究效率与质量之间的权衡。
• 提出评估指标和基线，以促进现实、用户参与的分割研究。

提出的方法

• 通过新增100段视频、每个序列含有多个对象来扩展DAVIS 2017数据集，以进行更丰富的评估。
• 在保留半监督主轨道（第一帧掩码）的同时，新增通过Web服务评估的交互式分割流水线。
• 通过自动机器人模拟人工涂抹，以实现可扩展的交互式评估，同时对测试注释保持私有。
• Scribble-OSVOS（在涂抹派生标签上进行微调）和 Scribble-Linear（基于CNN嵌入与线性分类器）。
• 以J&F为度量，在质量与速度轨道上评估交互时间与分割质量之间的权衡。

实验结果

研究问题

• RQ1 在质量与时间的权衡方面，交互式、涂抹式监督与传统半监督方法相比有何差异？
• RQ2 模拟涂抹是否能可靠预测人机交互性能在交互式视频目标分割基线中的表现？
• RQ3 以涂抹监督为方法的基线在减少标注工作量的同时是否能达到完全监督的性能？

主要发现

• 在完全监督下，Scribble-OSVOS 使用涂抹监督在1200秒达到57% J&F，且在更短的时间内超过全监督基线。
• Scribble-OSVOS（使用涂抹）在DAVIS 2017验证集达到39.26% J&F，耗时110秒，避免了长时间的再训练。
• 模拟涂抹生成器对两种基线得出的结论与手绘涂抹相似，支持其用于可扩展的交互式评估。
• 更快的 Scribble-Linear 基线在趋势上与 Scribble-OSVOS 相当，突出嵌入式交互方法的可行性。
• 实验表明，交互式方法在显著减少标注时间的同时可以达到或接近完全监督的性能。