[论文解读] Unmasking the Inductive Biases of Unsupervised Object Representations for Video Sequences

Marissa A. Weis, Kashyap Chitta+5 more|arXiv (Cornell University)|Jun 12, 2020

Video Surveillance and Tracking Methods参考文献 29被引用 14

一句话总结

本文提出一个合成视频基准，用于评估无监督对象中心表征学习模型在检测、分割和跟踪等核心感知能力上的表现。该研究对比了 MONet-Video（MONet 的视频扩展）、OP3 和 TBA，发现具有无约束潜在表征和完整图像掩码的模型在对象中心任务中优于基于空间变换器的 TBA，尽管所有模型在复杂跟踪场景中均表现不佳。

ABSTRACT

Perceiving the world in terms of objects is a crucial prerequisite for reasoning and scene understanding. Recently, several methods have been proposed for unsupervised learning of object-centric representations. However, since these models have been evaluated with respect to different downstream tasks, it remains unclear how they compare in terms of basic perceptual abilities such as detection, figure-ground segmentation and tracking of individual objects. In this paper, we argue that the established evaluation protocol of multi-object tracking tests precisely these perceptual qualities and we propose a new benchmark dataset based on procedurally generated video sequences. Using this benchmark, we compare the perceptual abilities of three state-of-the-art unsupervised object-centric learning approaches. Towards this goal, we propose a video-extension of MONet, a seminal object-centric model for static scenes, and compare it to two recent video models: OP3, which exploits clustering via spatial mixture models, and TBA, which uses an explicit factorization via spatial transformers. Our results indicate that architectures which employ unconstrained latent representations based on per-object variational autoencoders and full-image object masks are able to learn more powerful representations in terms of object detection, segmentation and tracking than the explicitly parameterized spatial transformer based architecture. We also observe that none of the methods are able to gracefully handle the most challenging tracking scenarios, suggesting that our synthetic video benchmark may provide fruitful guidance towards learning more robust object-centric video representations.

研究动机与目标

• 评估无监督对象中心视频表征模型在下游任务性能之外的基本感知能力。
• 解决缺乏对基本对象级能力（如检测、前景-背景分割和跟踪）标准化评估的问题。
• 提出一个基于程序化生成视频序列的新基准，以实现对象中心视频模型的公平比较。
• 探究架构选择（尤其是通过空间变换器实现的显式因子分解）对学习鲁棒对象表征的影响。
• 识别当前模型的局限性，特别是在处理具有挑战性的跟踪场景时。

提出的方法

• 开发了一个新的基准数据集，使用程序化生成的视频序列来模拟多样的对象动态和交互。
• 通过将原始设计用于静态图像的 MONet 架构扩展为处理具有共享对象槽的时间序列，将其改进为 MONet-Video。
• 调整 OP3，该模型利用空间混合模型和聚类来推断视频中的对象槽，从而实现实时对象发现。
• 整合 TBA，该模型采用空间变换器显式将特征分解为特定于对象的表征。
• 在相同基准上评估所有模型，以多对象跟踪作为感知能力（包括检测、分割和跟踪性能）的代理指标。
• 采用统一的评估协议，比较模型在检测准确率、分割质量和跟踪稳定性方面的表现。

实验结果

研究问题

• RQ1 最先进无监督对象中心视频模型在基本感知能力（如对象检测和前景-背景分割）上的表现如何比较？
• RQ2 架构选择（尤其是通过空间变换器实现的显式因子分解）在多大程度上影响所学习对象表征的质量？
• RQ3 多对象跟踪能否作为评估对象中心视频表征学习中核心感知能力的可靠代理？
• RQ4 在涉及遮挡、对象合并和复杂运动的挑战性跟踪场景中，模型表现如何？
• RQ5 无约束潜在表征和完整图像掩码在提升对象中心视频表征学习方面发挥什么作用？

主要发现

• 采用无约束潜在表征和完整图像对象掩码的模型（如 MONet-Video 和 OP3）在对象检测和分割方面表现优于 TBA。
• 尽管采用显式因子分解，基于空间变换器的 TBA 模型在检测和分割对象方面表现较差，尤其是在复杂场景中。
• 所有模型在遮挡和对象合并等挑战性条件下的长期跟踪中均表现不佳，表明其鲁棒性存在明显差距。
• 所提出的合成视频基准能有效揭示感知能力的差异，并暴露当前无监督视频表征学习方法的局限性。
• 结果表明，无约束潜在空间建模可能比显式空间因子分解更有效地学习通用的对象中心表征。
• 该基准为未来研究提供了有价值的工具，可推动更鲁棒、更感知准确的无监督视频对象学习发展。