[论文解读] Self-supervised Video Object Segmentation

Fangrui Zhu, Li Zhang+3 more|arXiv (Cornell University)|Jun 22, 2020

Video Surveillance and Tracking Methods参考文献 26被引用 8

一句话总结

该论文提出了一种自监督视频实例分割方法，通过一种新颖的内存机制增强长期对应匹配，并在推理过程中引入在线自适应机制以减轻跟踪漂移。仅使用100段原始视频片段（11分钟）即在DAVIS-2017和YouTube-VOS数据集上取得了最先进性能，优于许多使用数百万条人工标注的监督方法。

ABSTRACT

The objective of this paper is self-supervised representation learning, with the goal of solving semi-supervised video object segmentation (a.k.a. dense tracking). We make the following contributions: (i) we propose to improve the existing self-supervised approach, with a simple, yet more effective memory mechanism for long-term correspondence matching, which resolves the challenge caused by the dis-appearance and reappearance of objects; (ii) by augmenting the self-supervised approach with an online adaptation module, our method successfully alleviates tracker drifts caused by spatial-temporal discontinuity, e.g. occlusions or dis-occlusions, fast motions; (iii) we explore the efficiency of self-supervised representation learning for dense tracking, surprisingly, we show that a powerful tracking model can be trained with as few as 100 raw video clips (equivalent to a duration of 11mins), indicating that low-level statistics have already been effective for tracking tasks; (iv) we demonstrate state-of-the-art results among the self-supervised approaches on DAVIS-2017 and YouTube-VOS, as well as surpassing most of methods trained with millions of manual segmentation annotations, further bridging the gap between self-supervised and supervised learning. Codes are released to foster any further research (https://github.com/fangruizhu/self_sup_semiVOS).

研究动机与目标

• 解决由于遮挡、快速运动和物体重新出现导致的自监督视频实例分割中的跟踪漂移问题。
• 通过引入更有效的内存机制，提升长期对应匹配能力。
• 通过展示自监督表征学习的高效率，减少对监督标注的依赖。
• 弥合自监督方法与完全监督方法在密集视频实例跟踪任务中的性能差距。

提出的方法

• 提出一种内存机制，将成对对应匹配扩展至长期时间上下文，提升对物体消失与重新出现的鲁棒性。
• 引入在线自适应模块，在推理过程中利用在不完美预测上训练的随机初始化外观模型，对传播的掩码进行精炼。
• 利用深度网络学习数据规律的速度远快于噪声的归纳偏置，减少对错误掩码传播的过拟合。
• 仅使用100段原始视频片段（11分钟）或100张静态图像，通过自监督对比学习训练强大的跟踪模型。
• 采用类孪生网络结构，结合特征匹配损失以最小化光度误差并最大化帧间循环一致性。
• 使用内存库存储并检索来自多帧参考帧的特征，实现鲁棒的长距离对应匹配。

实验结果

研究问题

• RQ1 自监督方法是否能在不使用任何人工标注掩码的情况下实现视频实例分割的最先进性能？
• RQ2 内存机制在提升物体跟踪长期对应匹配方面有多有效？
• RQ3 推理过程中的在线自适应能否有效减少由遮挡和快速运动引起的跟踪漂移？
• RQ4 自监督学习的效率能达到何种程度——是否能以极少量数据实现竞争力表现？
• RQ5 语义理解在密集视频实例跟踪中是否至关重要，还是低层次统计特征已足够？

主要发现

• 所提方法在DAVIS-2017上取得70.7的J&F分数，在YouTube-VOS上取得67.3，超越所有先前的自监督方法。
• 在两个基准测试中，其性能优于许多使用数百万帧标注训练的完全监督模型。
• 模型在未见类别上泛化良好，在YouTube-VOS未见类别上取得67.9的J&F分数，且无性能下降。
• 仅使用100段原始视频片段（11分钟）进行训练，性能可与在更大规模数据集上训练的模型相媲美。
• 在线自适应模块显著减少了跟踪漂移，尤其在遮挡和运动不连续情况下效果明显。
• 内存机制实现了鲁棒的长期对应匹配，有效解决了物体消失后重新出现时的匹配问题。