[论文解读] SIMONe: View-Invariant, Temporally-Abstracted Object Representations via Unsupervised Video Decomposition

Rishabh Kabra, Daniel Zoran+6 more|arXiv (Cornell University)|Jun 7, 2021

Generative Adversarial Networks and Image Synthesis被引用 14

一句话总结

SIMONe 提出了一种无监督变分视频模型，通过基于 Transformer 的注意力机制，将视图不变的对象表征与随时间变化的视角和全局场景因素分离。该模型实现了视图不变、时间抽象化的对象特征，并可在无需真实标注或三维假设的情况下，实现新颖的场景组合与视角合成。

ABSTRACT

To help agents reason about scenes in terms of their building blocks, we wish to extract the compositional structure of any given scene (in particular, the configuration and characteristics of objects comprising the scene). This problem is especially difficult when scene structure needs to be inferred while also estimating the agent's location/viewpoint, as the two variables jointly give rise to the agent's observations. We present an unsupervised variational approach to this problem. Leveraging the shared structure that exists across different scenes, our model learns to infer two sets of latent representations from RGB video input alone: a set of "object" latents, corresponding to the time-invariant, object-level contents of the scene, as well as a set of "frame" latents, corresponding to global time-varying elements such as viewpoint. This factorization of latents allows our model, SIMONe, to represent object attributes in an allocentric manner which does not depend on viewpoint. Moreover, it allows us to disentangle object dynamics and summarize their trajectories as time-abstracted, view-invariant, per-object properties. We demonstrate these capabilities, as well as the model's performance in terms of view synthesis and instance segmentation, across three procedurally generated video datasets.

研究动机与目标

• 从无结构的 RGB 视频中无监督地学习组合式、以对象为中心的场景表征。
• 将静态对象属性（例如形状、颜色）与动态视角和全局场景变化解耦。
• 以时间抽象化、视角无关的方式总结对象轨迹，独立于相机运动。
• 通过组合来自不同场景的对象潜在变量与来自新视角的帧潜在变量，实现场景编辑与新颖视角合成。
• 在不使用显式三维几何、动态模型或专用渲染器的前提下，仅依赖视频数据和结构化潜在变量，实现上述目标。

提出的方法

• 采用具有结构化潜在空间的变分自编码器，将对象级潜在变量（时间不变）与帧级潜在变量（时间可变）分离。
• 使用基于 Transformer 的编码器，结合时空注意力，联合建模视频帧之间的空间与时间依赖性。
• 利用高斯混合模型进行像素级重建，实现对象掩码与外观的解耦预测。
• 应用 KL 正则化，并使用独立的超参数（βo, βf）平衡对象与帧潜在变量的容量，提升解耦效果。
• 通过从一个场景迁移对象潜在变量、从另一个场景迁移帧潜在变量，实现场景组合，生成新颖且一致的视角。
• 采用端到端训练，通过重建损失与 KL 散度联合优化，实现解耦与生成保真度的平衡。

实验结果

研究问题

• RQ1 无监督模型能否仅从 RGB 视频中学习到视图不变、时间抽象化的对象表征？
• RQ2 在无监督条件下，对象潜在变量在多大程度上能与视角和全局场景动态解耦？
• RQ3 通过组合来自不同场景的对象潜在变量与新的帧潜在变量，模型能否泛化至新颖的场景组合？
• RQ4 模型在仅使用视频输入的情况下，能否良好地合成来自不同视角的新颖场景视图？
• RQ5 即使缺乏真实姿态或动态模型，模型能否独立于相机运动推断并解耦对象轨迹？

主要发现

• SIMONe 在三个程序生成的视频数据集上，在无监督视角合成与场景表征学习任务中达到最先进性能。
• 模型成功将对象属性（如形状、颜色、位置）与相机位姿和光照变化解耦，实现了跨视角的一致对象追踪。
• 帧潜在变量捕捉了有意义的视角相关变化，表现为遍历操作可调节相机位置与方向，而对象内容保持不变。
• 即使对象数量少于 K=16 个，对象潜在变量在不同场景间组合后仍能生成合理的新场景，包括正确的对象排列与分割结果。
• 模型无需微调即可泛化至新颖视角与场景编辑，展现出强鲁棒性与组合泛化能力。
• 定量比较显示，SIMONe-VS 在对数似然与重建质量上优于 GQN 与 NeRF-VAE，且从帧潜在变量中预测相机位姿的 R² 分数表现优异。