[论文解读] Unsupervised Multi-object Segmentation by Predicting Probable Motion Patterns

Laurynas Karazija, Subhabrata Choudhury+3 more|arXiv (Cornell University)|Oct 21, 2022

Advanced Neural Network Applications被引用 7

一句话总结

本文提出了一种无监督多对象分割方法，通过利用视频数据作为监督信号，训练静态图像模型，而非直接预测精确运动，而是预测图像区域中可能的运动模式。通过建模刚性运动模式（包括静止物体）的分布，该方法在合成数据集和真实世界基准上均取得了最先进性能，优于仅使用图像或引入运动信息的方法。

ABSTRACT

We propose a new approach to learn to segment multiple image objects without manual supervision. The method can extract objects form still images, but uses videos for supervision. While prior works have considered motion for segmentation, a key insight is that, while motion can be used to identify objects, not all objects are necessarily in motion: the absence of motion does not imply the absence of objects. Hence, our model learns to predict image regions that are likely to contain motion patterns characteristic of objects moving rigidly. It does not predict specific motion, which cannot be done unambiguously from a still image, but a distribution of possible motions, which includes the possibility that an object does not move at all. We demonstrate the advantage of this approach over its deterministic counterpart and show state-of-the-art unsupervised object segmentation performance on simulated and real-world benchmarks, surpassing methods that use motion even at test time. As our approach is applicable to variety of network architectures that segment the scenes, we also apply it to existing image reconstruction-based models showing drastic improvement. Project page and code: https://www.robots.ox.ac.uk/~vgg/research/ppmp .

研究动机与目标

• 解决复杂视觉场景中无监督多对象分割的挑战，无需人工标注。
• 克服基于图像重建的模型在视觉复杂性和外观变化方面表现不佳的局限性。
• 利用视频数据作为监督信号，提升静态图像分割性能，即使在物体未移动的情况下亦可。
• 开发一种基于合理运动模式（包括非移动物体）识别对象区域的方法，而非依赖实际运动线索。
• 在复杂场景中对未见物体和纹理实现泛化，优于现有无监督及引入运动信息的基线方法。

提出的方法

• 使用视频数据作为监督信号，在静态图像上训练分割模型，其中运动模式被用作对象存在的代理信号。
• 使用闭式表达式建模来自刚性运动物体（包括零运动情况）的光流模式分布。
• 对每个分割区域使用概率流模型评估运动模式的一致性，概率越高表示越符合对象级运动的合理性。
• 将分割任务转化为标准图像分割问题，采用神经网络优化区域级光流概率分布。
• 引入两个新的视频数据集——CLEVR 和 ClevrTex 的扩展版本，包含物理模拟的物体运动及逼真的非移动物体。
• 将运动感知损失应用于现有基于图像重建的模型（如 Slot Attention、IODINE），显著提升其性能。

实验结果

研究问题

• RQ1 建模可能运动模式的分布是否能超越确定性运动预测，在无监督多对象分割中带来性能提升？
• RQ2 即使视频中物体未移动，引入视频监督是否仍能增强静态图像分割性能？
• RQ3 在测试时，基于视频数据训练的模型是否能泛化到未见物体形状和纹理？
• RQ4 所提方法与最先进图像基和视频基无监督分割模型相比表现如何？
• RQ5 与仅依赖运动或仅依赖外观的基线相比，将运动建模为分布（包括静止物体）在多大程度上提升了分割质量？

主要发现

• 所提方法在 CLEVR 和 ClevrTex 基准上达到最先进性能，在 ClevrTex 上平均掩码 IoU 为 72.78 ± 1.31，在 CLEVR 上为 76.01 ± 0.56，优于以往无监督方法。
• 在 MOVi-A 和 MOVi-C 数据集上，该方法分别取得 77.43 ± 0.86 和 56.43 ± 0.80 的平均掩码 IoU，优于 SAVi、GWM 和 SCALOR，在定性和定量评估中表现更优。
• 模型对未见物体形状和纹理具有良好的泛化能力，在视觉复杂的场景中表现出强鲁棒性。
• 当应用于现有图像重建模型（如 Slot Attention、IODINE）时，运动感知损失带来显著性能提升，证实运动是强有力的监督信号。
• 该方法优于在推理时使用运动信息的视频基基线模型，表明在静态图像框架中更有效地利用了视频监督信号。
• 消融实验确认，将运动建模为分布（包括非运动物体）至关重要；若采用确定性运动预测，性能反而下降。