[论文解读] Video Interpolation and Prediction with Unsupervised Landmarks

Kevin J. Shih, Ayşegül Dündar+4 more|arXiv (Cornell University)|Sep 6, 2019

Advanced Vision and Imaging参考文献 41被引用 6

一句话总结

本文提出了一种使用2D高斯关键点表征的无监督视频插值与预测框架，用于建模长时程运动动态。通过将图像分解为可解释的姿态（关键点）与外观码，并在高斯参数空间中预测时间演化，该方法在无需监督或关键点标注的情况下，实现了超过100帧的高保真、结构保持的插值与外推。

ABSTRACT

Prediction and interpolation for long-range video data involves the complex task of modeling motion trajectories for each visible object, occlusions and dis-occlusions, as well as appearance changes due to viewpoint and lighting. Optical flow based techniques generalize but are suitable only for short temporal ranges. Many methods opt to project the video frames to a low dimensional latent space, achieving long-range predictions. However, these latent representations are often non-interpretable, and therefore difficult to manipulate. This work poses video prediction and interpolation as unsupervised latent structure inference followed by a temporal prediction in this latent space. The latent representations capture foreground semantics without explicit supervision such as keypoints or poses. Further, as each landmark can be mapped to a coordinate indicating where a semantic part is positioned, we can reliably interpolate within the coordinate domain to achieve predictable motion interpolation. Given an image decoder capable of mapping these landmarks back to the image domain, we are able to achieve high-quality long-range video interpolation and extrapolation by operating on the landmark representation space.

研究动机与目标

• 解决长时程视频预测与插值中对稳定、可解释且解耦运动表征的挑战。
• 通过图像重建学习一致的无监督关键点，消除对监督关键点标注的依赖。
• 通过在受限的高斯姿态空间中操作，确保解码过程中有效且单峰的热图，从而实现可靠的插值与外推。
• 通过在结构化、因子化潜在空间中建模时间动态，提升长时程视频生成的泛化性与稳定性。
• 证明无监督关键点学习可支持高质量视频合成，并对运动轨迹实现显式控制。

提出的方法

• 通过联合图像编码器与解码器，将输入图像分解为姿态与外观表征，其中姿态码以2D高斯热图形式表示。
• 通过重建损失实现无监督关键点学习，强制在图像变换下保持一致激活，确保空间不变性。
• 每个关键点的姿态以2D高斯形式建模，参数为(μ, Σ)，其中协方差通过Cholesky分解，以确保潜在空间中的正定性。
• 时间动态模块采用LSTM实现，用于预测姿态空间中高斯参数(μ, Σ)的未来状态，支持长序列建模。
• 图像解码器通过将预测的高斯姿态码与学习到的外观码结合，基于关键点位置重建未来帧。
• 该框架通过重建损失端到端训练，无需真实关键点监督或显式运动标签。

实验结果

研究问题

• RQ1 无监督关键点学习能否生成适用于长时程视频预测的稳定、可解释且解耦的姿态表征？
• RQ2 在高斯参数空间(μ, Σ)中建模时间动态是否能确保有效且平滑的插值，避免模式崩溃或无效热图？
• RQ3 仅依赖边界框监督的自监督模型在长时程视频插值与外推任务中泛化能力如何？
• RQ4 因子化姿态-外观表征在100帧以上的长时间范围内，对结构一致性与运动连贯性的保持程度如何？
• RQ5 模型是否可在潜在空间中显式操作，以生成可预测、可控的运动轨迹？

主要发现

• 该模型在超过100帧的范围内实现了高质量的视频插值与外推，同时保持了运动前景物体的结构完整性。
• 姿态空间中使用2D高斯关键点可实现稳定且可预测的运动插值，因为在解码过程中，μ与Σ的扰动均能产生有效且单峰的热图。
• 该方法在无需监督关键点标注的情况下，仅依赖图像重建与弱对象级边界框，即可实现对长时程预测的良好泛化。
• 与非因子化潜在表征相比，该模型表现出更高的鲁棒性与可解释性，后者常因缺乏结构而随长序列退化。
• 尽管在外观泛化方面存在局限，该框架仍成功保持了长时程范围内前景物体的结构与运动一致性。
• 基于高斯参数的LSTM时间动态模块表现出稳定的长期行为，但性能在约100帧后开始下降。