[论文解读] Stochastic Video Prediction with Structure and Motion

Adil Kaan Akan, Sadra Safadoust+1 more|arXiv (Cornell University)|Mar 20, 2022

Autonomous Vehicle Technology and Safety被引用 5

一句话总结

该论文提出了一种随机视频预测模型，将驾驶场景分解为静态（场景结构与自车运动）和动态（前景物体运动）两部分，分别建模其运动以提升未来帧的预测效果。通过将动态运动条件化于预测的静态结构，该方法在复杂驾驶场景中实现了更准确且多样的预测，在KITTI和Cityscapes数据集上的表现优于现有方法，同时保持了高效的推理速度。

ABSTRACT

While stochastic video prediction models enable future prediction under uncertainty, they mostly fail to model the complex dynamics of real-world scenes. For example, they cannot provide reliable predictions for scenes with a moving camera and independently moving foreground objects in driving scenarios. The existing methods fail to fully capture the dynamics of the structured world by only focusing on changes in pixels. In this paper, we assume that there is an underlying process creating observations in a video and propose to factorize it into static and dynamic components. We model the static part based on the scene structure and the ego-motion of the vehicle, and the dynamic part based on the remaining motion of the dynamic objects. By learning separate distributions of changes in foreground and background, we can decompose the scene into static and dynamic parts and separately model the change in each. Our experiments demonstrate that disentangling structure and motion helps stochastic video prediction, leading to better future predictions in complex driving scenarios on two real-world driving datasets, KITTI and Cityscapes.

研究动机与目标

• 为解决现有随机视频预测模型在处理具有移动相机和独立运动物体的复杂驾驶场景时的局限性。
• 通过显式建模潜在因素——场景结构、自车运动与物体运动——而非仅依赖像素级变化，以提升未来帧预测性能。
• 通过将动态运动条件化于预测的静态分量，提升预测的多样性与准确性，从而在前景区域实现更好的不确定性建模。
• 在保持高效推理的同时实现高性能，使该方法适用于实时自动驾驶应用。

提出的方法

• 利用深度预测、相机位姿和光流预测，将视频动态分解为静态（场景结构与自车运动）和动态（前景物体的残差运动）两部分。
• 通过预测的深度和相机位姿建模静态部分，用于图像变形和背景运动估计。
• 将动态运动建模为在自车运动之上的残差光流，并条件化于预测的静态结构，以捕捉物体特异性运动。
• 使用条件隐变量模型分别预测静态与动态分量的未来状态，再通过预测的分割掩码进行融合。
• 利用关于车辆运动与场景几何的领域知识，提升泛化能力与不确定性估计性能。
• 采用条件化架构，使动态隐空间依赖于静态预测，从而提升运动的一致性。

Figure 1 : Future Prediction while Turning. We compare the future prediction results of previous methods ( top ) to ours ( bottom ) while the vehicle makes a right turn. While previous methods fail due to a less frequent scenario in the dataset, our method can generate a better future prediction due

实验结果

研究问题

• RQ1 将视频动态分解为静态与动态分量是否能提升复杂驾驶场景下的随机视频预测性能？
• RQ2 将运动建模为在自车运动之上的残差形式，如何提升预测的准确性和多样性？
• RQ3 显式建模潜在场景因素（结构、自车运动、物体运动）是否能带来优于仅基于像素级随机建模的不确定性估计？
• RQ4 所提出的方法是否在保持高性能的同时，实现高效推理，从而在质量与多样性上均超越最先进模型？

主要发现

• 该方法在KITTI和Cityscapes数据集上均达到最先进性能，FVD与LPIPS指标表现优异，FVD分数分别为16.8和18.5。
• 模型生成的预测更具多样性与真实性，不确定性集中于前景物体区域——相比基线模型的均匀不确定性，显示出更优的不确定性建模能力。
• 推理速度高效，KITTI与Cityscapes数据集上每10个样本的推理时间分别为1.02秒和1.21秒，与基线模型相当，且显著快于高性能但计算成本高的模型如Improved-VRNN。
• 可视化结果证实，模型能正确预测自车运动与残差前景运动，从而实现准确的场景变形与未来帧生成。
• 对动态运动条件化于静态结构的建模方式，使模型在复杂场景（如急转弯）中具备更好的泛化能力，而此前方法在这些场景中会失效。
• 由于显式解耦了运动类型，该方法在处理复杂动态场景时表现更优，尤其在物体独立于相机运动时。

Figure 2 : Overview. For predicting future frames in a video ( top ), we predict depth on each frame, and camera pose and optical flow between consecutive frames. We model the static part of the scene with depth and pose ( bottom ). Conditioned on the static part, we model the remaining motion due t