[论文解读] Video Instance Segmentation

Linjie Yang, Yuchen Fan+1 more|arXiv (Cornell University)|May 12, 2019

Advanced Image and Video Retrieval Techniques参考文献 36被引用 15

一句话总结

本文提出了视频实例分割这一新任务，将视频中的目标检测、实例分割与跟踪相结合。作者提出MaskTrack R-CNN，一种新颖的方法，在Mask R-CNN基础上增加一个跟踪分支，利用外观、运动和类别线索实现跨帧实例关联，在包含2,883段高分辨率视频和131k个掩码的新YouTube-VIS基准上实现了30.3 AP的性能。

ABSTRACT

In this paper we present a new computer vision task, named video instance segmentation. The goal of this new task is simultaneous detection, segmentation and tracking of instances in videos. In words, it is the first time that the image instance segmentation problem is extended to the video domain. To facilitate research on this new task, we propose a large-scale benchmark called YouTube-VIS, which consists of 2883 high-resolution YouTube videos, a 40-category label set and 131k high-quality instance masks. In addition, we propose a novel algorithm called MaskTrack R-CNN for this task. Our new method introduces a new tracking branch to Mask R-CNN to jointly perform the detection, segmentation and tracking tasks simultaneously. Finally, we evaluate the proposed method and several strong baselines on our new dataset. Experimental results clearly demonstrate the advantages of the proposed algorithm and reveal insight for future improvement. We believe the video instance segmentation task will motivate the community along the line of research for video understanding.

研究动机与目标

• 正式定义并探索视频实例分割作为一项新的计算机视觉任务，整合视频中的检测、分割与跟踪。
• 解决视频实例分割领域缺乏大规模、高质量数据集的问题，该问题此前严重制约了该领域的发展。
• 提出一种新颖的深度学习框架MaskTrack R-CNN，实现跨视频帧的实例分割与跟踪联合优化。
• 基于YouTube-VIS数据集建立视频实例分割的基准，以支持未来方法的评估与比较。

提出的方法

• 在Mask R-CNN基础上增加一个新的跟踪分支，通过外部记忆存储实例嵌入，实现跨帧匹配。
• 引入匹配分数 $ v_i $，综合检测置信度、边界框IoU和类别一致性，用于跨帧实例关联。
• 利用真实边界框的RoIAlign特征计算外观相似性以实现鲁棒的实例关联。
• 将预测的实例存储在外部记忆中，并通过学习的相似度函数与后续帧中的对象进行匹配。
• 应用空间（IoU）、语义（类别）和检测置信度的软约束，提升跟踪的鲁棒性。
• 设计两阶段推理流程：首先预测每帧的检测结果与掩码，然后通过跟踪分支执行跨帧关联。

实验结果

研究问题

• RQ1 如何在视频中联合优化实例分割与跟踪，以提升准确率与一致性？
• RQ2 空间、外观、运动与类别线索在有效视频实例跟踪中分别起到何种作用？
• RQ3 视频实例分割的性能在多大程度上依赖于图像级检测质量，而非跨帧关联能力？
• RQ4 现有相关任务（如视频目标检测或分割）的方法在多大程度上可被适配用于视频实例分割？
• RQ5 视频实例分割中的主要瓶颈是什么？如何通过模型设计与训练加以解决？

主要发现

• 所提出的MaskTrack R-CNN在YouTube-VIS验证集上达到30.3 AP，显著优于强基线方法。
• 边界框IoU与类别一致性线索对性能贡献最大，若移除则AP下降约5%。
• 检测置信度分数仅带来微小提升，表明空间与语义一致性更为关键。
• 图像级预测是主要瓶颈：即使使用真实图像级标注，性能也仅达78.7 AP，表明仍有较大提升空间。
• 身份Oracle（使用真实身份）仅比MaskTrack R-CNN略有提升，表明跟踪并非主要限制因素。
• 消融实验表明，结合全部四种线索（检测、IoU、类别与外观）可获得最佳性能，全部使用时AP达到30.3。