[论文解读] Unsupervised object-centric video generation and decomposition in 3D

Paul Henderson, Christoph H. Lampert|ENLIGHTEN (Jurnal Bimbingan dan Konseling Islam)|Jul 7, 2020

Advanced Vision and Imaging参考文献 47被引用 4

一句话总结

该论文提出 O3V，这是首个无监督、以物体为中心的视频生成模型，能够显式地进行三维推理，无需任何标注即可将单目视频分解为三维物体和背景。通过将场景建模为相机在具有可学习三维姿态和外观的独立物体组成的三维场景中移动，该模型在视频生成、深度预测、三维物体检测和实例分割任务上均达到最先进性能，甚至在 2D 任务上也优于先前方法。

ABSTRACT

A natural approach to generative modeling of videos is to represent them as a composition of moving objects. Recent works model a set of 2D sprites over a slowly-varying background, but without considering the underlying 3D scene that gives rise to them. We instead propose to model a video as the view seen while moving through a scene with multiple 3D objects and a 3D background. Our model is trained from monocular videos without any supervision, yet learns to generate coherent 3D scenes containing several moving objects. We conduct detailed experiments on two datasets, going beyond the visual complexity supported by state-of-the-art generative approaches. We evaluate our method on depth-prediction and 3D object detection -- tasks which cannot be addressed by those earlier works -- and show it out-performs them even on 2D instance segmentation and tracking.

研究动机与目标

• 开发一种以物体为中心的视频生成模型，显式地在三维空间中进行推理，而非依赖于二维或 2.5D 表示。
• 仅使用单目视频，在无任何三维标注或监督的情况下对模型进行无监督训练。
• 实现视频到三维前景物体与三维背景的解耦分解，同时保持一致的跟踪与深度估计。
• 生成连贯、合理的视频序列，展示三维物体在三维环境中的运动，同时保持场景层面的一致性。

提出的方法

• 该模型使用单一潜在变量 z 来表示完整的三维场景，该变量被解码为特定物体的三维姿态、外观嵌入以及背景的形状和纹理。
• 每个物体的外观嵌入通过专用解码器被解码为三维体素或网格表示，从而实现对三维形状和颜色的显式建模。
• 通过相机参数对物体和背景进行可微分渲染，并通过 alpha 混合组合生成最终的视频帧。
• 该模型作为变分自编码器（VAE）进行训练，通过从潜在码重建输入视频，使用可微分渲染器和像素级重建损失。
• 通过将物体独立建模并解耦姿态与外观，引入归纳偏置，从而实现高效且可组合的场景表征。
• 结构化解码器解析潜在码，生成物体存在指示、三维位置、旋转和形变，确保合理的场景布局。

Figure 1 : Left: Our generative model of videos has a single latent variable $\mathbf{z}$ , which is decoded by $F^{\mathrm{obj}}$ to parameters of $G$ objects. The contents of the green plate are replicated once per object; the contents of the blue plate are replicated once per frame. Each object h

实验结果

研究问题

• RQ1 无监督、以物体为中心的视频生成模型是否能够在无任何三维监督或标注的情况下，学习将视频分解为三维物体和三维背景？
• RQ2 与二维或 2.5D 方法相比，将场景建模为三维是否能提升在深度预测、三维物体检测和实例分割等下游任务上的泛化能力和性能？
• RQ3 单一潜在码是否能够捕捉所有合理的三维场景结构，避免出现如物体相交等不合理的布局？
• RQ4 与基于 2D 拼贴图的模型相比，三维推理在提升视频生成质量和解耦性方面有何优势？
• RQ5 该模型在包含多个运动物体和不同视角的复杂场景中，其泛化能力如何？

主要发现

• 在具有挑战性的 'traffic' 数据集上，O3V-voxel 在 FVD、FID 和 KID 指标上均达到最佳表现，显著优于所有基线方法，包括 GENESIS 和 MONet。
• 在 'rooms' 数据集上，O3V-voxel 在 FID 和 KID 上优于 MONet 和 SCALOR，并能生成更高品质、更连贯的场景，且物体运动合理。
• O3V 在三维物体检测和深度预测任务上达到最先进性能——这些任务在先前的二维或 2.5D 模型中并未被解决——证明了三维推理的优势。
• 该模型成功地将视频分解为三维物体和背景，生成准确的分割掩码，并在时间上保持一致的跟踪。
• 在 'rooms' 数据集上，O3V-mesh 的 FID 和 KID 表现优于 O3V-voxel，可能得益于网格渲染带来的更锐利边缘；然而，在 'traffic' 数据集上 O3V-voxel 表现更优。
• 失败案例显示，模型有时会将单个物体（如一辆汽车）拆分为两部分，尽管各部分通常保持协同运动，表明存在部分解耦问题。

Figure 2 : Videos from (rooms) decomposed by O3V-voxel. In each block, the three rows are different frames. The columns are (left to right): input frame, reconstructed frame, reconstructed background, reconstructed foreground objects and 3D bounding boxes, ground-truth and predicted instance segment