[论文解读] Semantically-Guided Video Object Segmentation

Sergi Caelles, Yuhua Chen+2 more|arXiv (Cornell University)|Apr 6, 2017

Visual Attention and Saliency Detection参考文献 24被引用 10

一句话总结

本文提出语义引导的视频目标分割（SGV），通过将首帧的外观模型与来自实例级分割的语义先验相结合，提升了半监督视频目标分割的性能。通过使用可学习的条件分类器融合外观与语义线索，SGV在DAVIS和YouTube-Objects数据集上达到最先进性能，长时间序列中保持高精度，平均每帧运行时间仅547毫秒。

ABSTRACT

This paper tackles the problem of semi-supervised video object segmentation, that is, segmenting an object in a sequence given its mask in the first frame. One of the main challenges in this scenario is the change of appearance of the objects of interest. Their semantics, on the other hand, do not vary. This paper investigates how to take advantage of such invariance via the introduction of a semantic prior that guides the appearance model. Specifically, given the segmentation mask of the first frame of a sequence, we estimate the semantics of the object of interest, and propagate that knowledge throughout the sequence to improve the results based on an appearance model. We present Semantically-Guided Video Object Segmentation (SGV), which improves results over previous state of the art on two different datasets using a variety of evaluation metrics, while running in half a second per frame.

研究动机与目标

• 解决视频目标分割中的外观变化挑战，即由于光照、遮挡或视角变化导致的外观改变。
• 利用语义不变性——即目标对象在视觉外观变化下保持一致的类别与实例身份。
• 通过将语义先验融入基于外观的模型，提升长视频序列中的分割精度与鲁棒性。
• 开发一个端到端可训练的框架，结合外观建模与实例级语义分割，以指导分割传播。

提出的方法

• 通过预训练的实例分割网络（MNC）识别首帧中与目标最重叠的实例级分割提议，估计目标的语义信息。
• 将语义先验（实例类别与身份）在整个视频序列中传播，以指导每一帧的分割。
• 使用一个可学习的CNN模块——条件分类器层，将外观模型与语义先验的预测结果融合，生成最终的分割掩码。
• 端到端训练条件分类器与外观模型，使网络能够自适应地学习外观与语义线索的权重。
• 为提高效率，将外观模型与实例分割网络并行运行，随后通过快速双边求解器对输出进行精炼。
• 使用首帧掩码初始化跟踪过程，并通过基于IoU的实例匹配将语义先验传播至后续帧。

实验结果

研究问题

• RQ1 从实例级分割中提取的语义先验是否能提升在显著外观变化下基于外观的视频目标分割的鲁棒性？
• RQ2 在长视频序列中，引入语义不变性（如物体类别与实例身份）对分割精度与时间稳定性有何影响？
• RQ3 可学习的条件分类器能否有效融合外观与语义信息，从而超越仅依赖外观或时间一致性的方法？
• RQ4 与仅依赖外观的模型相比，语义先验在遮挡、光照变化或快速运动情况下，能在多大程度上缓解性能下降？
• RQ5 该方法是否能在不依赖光流或循环网络的前提下，实现实时推理（每帧低于0.6秒），同时在多样化视频序列中保持高精度？

主要发现

• SGV在DAVIS数据集上达到82.38的平均交并比（mIoU），显著优于最接近的竞争对手（74.72），性能提升达8%。
• 该方法在长序列中保持高水平性能，其mIoU曲线最低点为79.10，优于次优方法的73.62。
• 误检率（FN）显著降低，表明SGV能有效利用语义先验恢复被遮挡或部分可见的目标区域。
• 平均每帧运行时间为547毫秒（外观模型120毫秒，MNC 360毫秒，精炼187毫秒），支持实时推理。
• 误差分析显示，FP-Close（轮廓不准确）略高于部分基线方法，但被FN的大幅减少所抵消，表明对象补全能力更强。
• 定性结果表明，得益于语义引导，SGV能成功分割经历复杂外观变化（如汽车的正面、侧面与背面视图）的目标。