[论文解读] Video Object Segmentation using Supervoxel-Based Gerrymandering

Brent Griffin, Jason J. Corso|arXiv (Cornell University)|Apr 18, 2017

Visual Attention and Saliency Detection参考文献 32被引用 5

一句话总结

本文提出了一种名为超体素 gerrymandering 的新型无监督视频实例分割方法，通过利用超体素（3D 空间-时间超像素）内的局部与非局部一致性来提升前景分割效果。通过结合运动与显著性线索，并采用分层超体素聚类，该方法在 DAVIS 基准上实现了最先进性能，优于众多有监督方法及所有已知的无监督方法。

ABSTRACT

Pixels operate locally. Superpixels have some potential to collect information across many pixels; supervoxels have more potential by implicitly operating across time. In this paper, we explore this well established notion thoroughly analyzing how supervoxels can be used in place of and in conjunction with other means of aggregating information across space-time. Focusing on the problem of strictly unsupervised video object segmentation, we devise a method called supervoxel gerrymandering that links masks of foregroundness and backgroundness via local and non-local consensus measures. We pose and answer a series of critical questions about the ability of supervoxels to adequately sway local voting; the questions regard type and scale of supervoxels as well as local versus non-local consensus, and the questions are posed in a general way so as to impact the broader knowledge of the use of supervoxels in video understanding. We work with the DAVIS dataset and find that our analysis yields an unsupervised method that outperforms all other known unsupervised methods and even many supervised ones.

研究动机与目标

• 通过分析局部与非局部一致性机制，探究超体素在无监督视频实例分割中的有效性。
• 评估不同超体素生成方法（SWA、GBH 和 SG）对分割精度与鲁棒性的影响。
• 确定在分割性能与时间稳定性方面最优的超体素层次水平。
• 开发一种透明的无监督框架，实现高精度分割，且无需训练数据或人工交互标注。
• 为视频理解中超体素的作用提供超越分割任务的一般性见解。

提出的方法

• 通过运动与视觉显著性线索计算初始前景度，利用统计离群度度量进行加权。
• 在每个超体素内部，通过时间维度上其组成像素的前景度投票聚合构建局部一致性。
• 通过在时空邻近的超体素之间传播并平均局部一致性值，建立非局部一致性。
• 最终分割通过结合局部与非局部一致性的投票机制确定，模拟 gerrymandering 以优化物体边界。
• 评估了三种超体素方法——基于超体素的加权聚合（SWA）、基于图的分层方法（GBH）和基于流的图方法（SG），涵盖多种配置。
• 使用 DAVIS 与 SegTrackv2 基准进行性能评估，标准指标包括 J&F、T 和 F-measure。

实验结果

研究问题

• RQ1 在视频实例分割中，与超体素邻居之间的非局部一致性相比，超体素内部的局部一致性效果如何？
• RQ2 在不同视频特征下，哪种超体素生成方法（SWA、GBH 或 SG）能提供最鲁棒且最准确的分割？
• RQ3 在分割精度与时间稳定性方面，最优的超体素层次水平是什么？
• RQ4 仅使用超体素一致性的纯无监督方法是否能在标准基准上超越有监督方法？
• RQ5 不同局部与非局部一致性组合在不同数据集上的分割性能表现如何？

主要发现

• SWA 06 配置（结合局部与非局部一致性）在 DAVIS 数据集上表现最佳，优于所有已知的无监督方法。
• 局部一致性比非局部一致性更具鲁棒性，尤其在较高层次水平下，因其在超体素内部具有更强的一致性。
• 分层图-based（GBH）超体素在所有数据集上表现出最一致的性能，尤其在 SegTrackv2 中的可变分辨率视频上表现优异。
• 基于流的图（SG）超体素在 SegTrackv2 上表现更优，且因其流式特性，最适合长视频或实时视频处理。
• 最低层次水平在非局部一致性中最为有效，而低层与中层水平在局部一致性中表现最佳，'All' 配置（多层）整体表现最优。
• 共识方法的时间稳定性（T）较低，但局部一致性方法的帧间分割跳跃现象少于非局部方法。