[论文解读] YouTube-VOS: Sequence-to-Sequence Video Object Segmentation

Ning Xu, Linjie Yang+7 more|arXiv (Cornell University)|Sep 3, 2018

Advanced Image and Video Retrieval Techniques参考文献 36被引用 20

一句话总结

本文提出了 YouTube-VOS，这是迄今为止最大的视频实例分割数据集，包含 3,252 个 YouTube 视频片段和 78 个类别，支持长时序空间-时间建模的端到端序列到序列学习。所提出的方法采用基于卷积 LSTM 的序列到序列网络，直接学习时间依赖性，无需依赖预训练的光流或运动模型，在 YouTube-VOS 上达到最先进性能，并在 DAVIS 2016 上取得具有竞争力的结果。

ABSTRACT

Learning long-term spatial-temporal features are critical for many video analysis tasks. However, existing video segmentation methods predominantly rely on static image segmentation techniques, and methods capturing temporal dependency for segmentation have to depend on pretrained optical flow models, leading to suboptimal solutions for the problem. End-to-end sequential learning to explore spatial-temporal features for video segmentation is largely limited by the scale of available video segmentation datasets, i.e., even the largest video segmentation dataset only contains 90 short video clips. To solve this problem, we build a new large-scale video object segmentation dataset called YouTube Video Object Segmentation dataset (YouTube-VOS). Our dataset contains 3,252 YouTube video clips and 78 categories including common objects and human activities. This is by far the largest video object segmentation dataset to our knowledge and we have released it at https://youtube-vos.org. Based on this dataset, we propose a novel sequence-to-sequence network to fully exploit long-term spatial-temporal information in videos for segmentation. We demonstrate that our method is able to achieve the best results on our YouTube-VOS test set and comparable results on DAVIS 2016 compared to the current state-of-the-art methods. Experiments show that the large scale dataset is indeed a key factor to the success of our model.

研究动机与目标

• 为解决缺乏大规模视频分割数据集的问题，该问题阻碍了长期空间-时间特征的端到端学习。
• 克服现有视频实例分割方法依赖预训练光流或运动模型的局限性，这些方法对分割任务而言并非最优。
• 开发一种新颖的序列到序列深度学习框架，充分挖掘视频中长期时间依赖性，以实现精确的物体分割。
• 评估数据集规模对模型性能的影响，并证明大规模数据在训练鲁棒视频分割模型中的必要性。

提出的方法

• 提出一种基于卷积 LSTM（ConvLSTM）的序列到序列网络，用于建模跨视频帧的长期时空特征。
• 在每个时间步，ConvLSTM 接收编码后的图像帧和前一时刻的隐藏状态，生成用于掩码解码的更新时空特征。
• 采用基于 VGG-16 的 Initializer，从第一帧的 RGB 图像和物体掩码生成初始隐藏状态。
• 训练期间使用教师强制策略，即使用前一帧的真实掩码作为输入，以防止误差累积，随后过渡到自监督推理。
• 提出一种变体，用直接输入掩码替代 Initializer，以评估其有效性，结果表明性能较差。
• 探索一种编码器变体，将 RGB 帧和前一帧的预测掩码同时作为输入，提升了训练稳定性和性能。

实验结果

研究问题

• RQ1 大规模视频分割数据集是否能显著提升端到端序列到序列模型的性能？
• RQ2 基于 ConvLSTM 的序列到序列网络在不依赖预训练光流模型的情况下，建模长期空间-时间依赖性的效果如何？
• RQ3 训练数据规模对视频实例分割模型泛化能力和性能的影响是什么？
• RQ4 与学习得到的初始隐藏状态相比，直接掩码初始化或掩码感知编码是否能提升分割精度？
• RQ5 教师强制与课程学习策略的结合如何影响训练稳定性和最终性能？

主要发现

• 所提出的序列到序列模型在 YouTube-VOS 测试集上达到 60.9% 的平均交并比（J）和 64.2% 的 F-measure，优于现有最先进方法。
• 在 DAVIS 2016 基准上，该模型性能与最先进方法相当，展现出强大的泛化能力。
• 仅使用 YouTube-VOS 训练数据的 25% 时，性能下降 30%，凸显了数据集规模的关键作用。
• 在 100% YouTube-VOS 数据上训练的模型未出现性能饱和，表明更大规模数据可进一步提升结果。
• 模型在未见类别上泛化良好，在未见类别上达到 60.7% 的交并比，表明其有效学习了通用物体特征。
• 将 Initializer 替换为直接输入掩码后，性能降至 45.1% 的 J，表明掩码本身缺乏足够的表征能力以支持有效初始化。