[论文解读] Unsupervised Video Prediction from a Single Frame by Estimating 3D Dynamic Scene Structure

Paul Henderson, Christoph H. Lampert+1 more|arXiv (Cornell University)|Jun 16, 2021

Advanced Vision and Imaging被引用 4

一句话总结

该论文提出ViPL4S，一种新颖的无监督视频预测模型，通过从单帧图像重建3D动态场景结构，生成时序一致且多样的视频预测。通过仅使用RGB视频进行端到端训练，估计包含3D几何、运动分割和相机/物体动态的4D场景结构，该模型在真实世界数据集上实现了最先进性能，在定性和定量指标上均优于先前方法。

ABSTRACT

Our goal in this work is to generate realistic videos given just one initial frame as input. Existing unsupervised approaches to this task do not consider the fact that a video typically shows a 3D environment, and that this should remain coherent from frame to frame even as the camera and objects move. We address this by developing a model that first estimates the latent 3D structure of the scene, including the segmentation of any moving objects. It then predicts future frames by simulating the object and camera dynamics, and rendering the resulting views. Importantly, it is trained end-to-end using only the unsupervised objective of predicting future frames, without any 3D information nor segmentation annotations. Experiments on two challenging datasets of natural videos show that our model can estimate 3D structure and motion segmentation from a single frame, and hence generate plausible and varied predictions.

研究动机与目标

• 解决从单张图像无监督生成时序一致且多样的视频预测的挑战。
• 利用真实世界视频描绘具有稳定几何结构和运动一致性的3D环境这一先验知识，而现有无监督模型未能有效利用该知识。
• 仅从单目RGB视频中学习3D场景结构和运动分割，无需任何3D标注或监督信号。
• 开发一种条件生成模型，确保未来帧从一致的4D场景表示中渲染，从而提升时序一致性。

提出的方法

• 该模型采用变分自编码器（VAE）框架，使用潜在高斯变量z来建模未来帧的不确定性，条件于单个输入帧x₀。
• 提出一种新颖的4D场景表示F，将几何、纹理、运动分割（ωⱼ）、相机运动（Λₜ）和物体变换（Tₜʲ）分解为解耦的低维潜在空间。
• 通过重建损失实现端到端学习4D场景表示，模型通过可微神经渲染在时间t渲染场景以预测未来帧。
• 运动分量通过每物体的分解变换表示，实现对一致运动区域的高效建模，无需密集光流。
• 模型仅使用像素级重建损失和VAE目标进行训练，无需3D监督、分割标签或显式几何先验。
• 可微渲染管道通过追踪穿过3D场景的光线计算像素强度，实现对场景几何和运动的基于梯度的优化。

实验结果

研究问题

• RQ1 模型能否在无任何3D监督的情况下，从未标注的单帧RGB图像中推断出包含运动物体分割和相机运动的3D动态场景结构？
• RQ2 通过显式建模4D场景表示，无监督视频预测模型是否能实现更好的时序一致性和多样性？
• RQ3 与直接帧到帧生成相比，将3D场景结构作为解耦的潜在因子是否能提升视频预测质量？
• RQ4 在缺乏标注3D数据的情况下，该模型在具有复杂相机运动和动态物体的真实世界视频上泛化能力如何？

主要发现

• 在Waymo和re-10k数据集上，该模型在定量性能上显著优于最先进方法SRVP，FVD和KVD得分更低。
• 在Waymo数据集上，ViPL4S的Fréchet视频距离（FVD）为112.4，而SRVP为143.6，表明其生成分布更接近真实视频数据。
• 模型成功从单帧图像中无监督地学习到对车辆和行人等运动物体的分割，如定性示例所示。
• 6组件版本的ViPL4S表现劣于4组件版本，表明当组件数量超过最优容量时，存在优化挑战和潜在过拟合。
• 专门针对车辆运动的变体（ViPL4S veh）优于通用运动模型，表明归纳偏置可提升训练效率和性能。
• 尽管监督有限，该模型仍能生成合理视频片段，具备一致的相机运动和相对物体运动，避免了基线模型中常见的形变或闪烁等伪影。