[论文解读] Self-supervised Video Object Segmentation by Motion Grouping

Charig Yang, Hala Lamdouar+3 more|arXiv (Cornell University)|Apr 15, 2021

Advanced Vision and Imaging参考文献 88被引用 6

一句话总结

本文提出一种自监督视频实例分割方法，仅使用光流进行物体分割，通过基于插槽注意力（slot attention）的Transformer变体将运动相似的像素分组为前景和背景层。该方法在DAVIS2016数据集上达到最先进性能，并在具有挑战性的MoCA伪装数据集上超越所有先前的自监督方法，凸显了运动线索相较于基于外观的偏差具有关键作用。

ABSTRACT

Animals have evolved highly functional visual systems to understand motion, assisting perception even under complex environments. In this paper, we work towards developing a computer vision system able to segment objects by exploiting motion cues, i.e. motion segmentation. We make the following contributions: First, we introduce a simple variant of the Transformer to segment optical flow frames into primary objects and the background. Second, we train the architecture in a self-supervised manner, i.e. without using any manual annotations. Third, we analyze several critical components of our method and conduct thorough ablation studies to validate their necessity. Fourth, we evaluate the proposed architecture on public benchmarks (DAVIS2016, SegTrackv2, and FBMS59). Despite using only optical flow as input, our approach achieves superior or comparable results to previous state-of-the-art self-supervised methods, while being an order of magnitude faster. We additionally evaluate on a challenging camouflage dataset (MoCA), significantly outperforming the other self-supervised approaches, and comparing favourably to the top supervised approach, highlighting the importance of motion cues, and the potential bias towards visual appearance in existing video segmentation models.

研究动机与目标

• 开发一种仅依赖光流中运动线索的自监督视频实例分割模型，无需任何人工标注的掩码。
• 探究基于运动的感知分组（特别是共同命运原则）是否能在复杂场景中实现准确且高效的物体分割。
• 在视觉外观具有误导性的挑战性数据集（如伪装场景中的MoCA）上评估模型的鲁棒性，以凸显仅依赖外观的模型的局限性。
• 通过使用轻量级架构并避免计算成本较高的后处理步骤，实现超过80fps的推理速度。

提出的方法

• 采用修改后的Transformer架构，以插槽注意力替代自注意力，实现像素的迭代分组与绑定，将运动相似的像素归入不同的前景和背景层。
• 通过自监督代理任务进行训练，该任务在不同时间帧间隔下鼓励运动分组的一致性，使用光流上的一致性损失。
• 应用熵正则化损失以鼓励置信预测并稳定训练，尤其在低运动或模糊区域。
• 网络采用仅含477万参数的轻量级VGG风格编码器，无需CRF或时间平均等后处理步骤，即可实现快速推理。
• 仅使用光流作为输入，不引入RGB或外观特征，以隔离运动线索对分割性能的贡献。
• 通过端到端训练，采用重建目标，从预测的分割掩码和运动场重建输入光流。

Figure 1 : Segmenting camouflaged animals. Motion plays a critical role in augmenting the capability of our visual system for perceptual grouping in complex scenes – for example, in these sequences (MoCA dataset [ 39 ] ), the visual appearance (RGB images) is clearly uninformative. In this paper, we

实验结果

研究问题

• RQ1 仅以光流形式存在的运动线索是否足以在自监督设置下实现高质量的视频实例分割？
• RQ2 在视觉外观具有误导性的数据集（如伪装场景）中，基于运动的分割模型与基于外观的模型相比表现如何？
• RQ3 在运动分组中强制实现时间一致性在多大程度上能提升分割精度与鲁棒性？
• RQ4 无需标注的轻量级架构能否在保持最先进性能的同时实现实时推理速度？

主要发现

• 在DAVIS2016数据集上，该模型相比之前最先进自监督方法（CIS）实现了9.1%的绝对性能提升，达到接近有监督模型的性能。
• 在MoCA伪装数据集上，该模型显著超越所有先前的自监督方法，当不使用后处理时，较CIS提升14%。
• 在小分辨率输入下，该模型推理速度超过80fps，比依赖CRF或多裁剪平均等后处理的先前方法快一个数量级。
• 消融实验表明，时间一致性损失和熵正则化均对性能至关重要，任一缺失均导致性能显著下降。
• 该模型在MoCA上的表现凸显了基于外观模型的局限性，甚至优于高度依赖视觉外观的顶尖有监督模型（如COSNet）。
• 该模型在处理多个独立运动物体时表现不佳，因其受限于两个插槽（前景与背景），表明未来工作需实现动态插槽发现。

Figure 2 : Pipeline. Our model takes optical flow $I_{t\rightarrow t+n}$ as input, and outputs a set of reconstruction and opacity layers. Specifically, it consists of three components: feature encoding, iterative binding, and decoding to layers, which are combined to reconstruct the input flow. To