[论文解读] Simple Video Generation using Neural ODEs

David Kanaa, Vikram Voleti+2 more|arXiv (Cornell University)|Sep 7, 2021

Generative Adversarial Networks and Image Synthesis参考文献 21被引用 5

一句话总结

本文提出了一种新颖的视频生成框架，结合编码器-解码器架构与神经微分方程（Neural ODEs），以在潜在空间中建模连续时间动态。通过在潜在空间中学习平滑、连续的视频帧轨迹，该模型实现了准确的未来帧预测与时间插值，在仅使用重建训练的条件下，于1位和2位Moving MNIST数据集上取得了优异结果。

ABSTRACT

Despite having been studied to a great extent, the task of conditional generation of sequences of frames, or videos, remains extremely challenging. It is a common belief that a key step towards solving this task resides in modelling accurately both spatial and temporal information in video signals. A promising direction to do so has been to learn latent variable models that predict the future in latent space and project back to pixels, as suggested in recent literature. Following this line of work and building on top of a family of models introduced in prior work, Neural ODE, we investigate an approach that models time-continuous dynamics over a continuous latent space with a differential equation with respect to time. The intuition behind this approach is that these trajectories in latent space could then be extrapolated to generate video frames beyond the time steps for which the model is trained. We show that our approach yields promising results in the task of future frame prediction on the Moving MNIST dataset with 1 and 2 digits.

研究动机与目标

• 探究神经微分方程是否能够用于视频生成中的连续时间动态建模，以提升帧预测性能。
• 评估将编码器-解码器架构与神经微分方程结合用于条件视频生成的有效性。
• 通过单一连续动态模型实现视频帧的外推与插值。
• 探究在视频生成中学习到的潜在表征的可解释性与解耦特性。
• 评估神经微分方程在更大数据集上实现可扩展视频生成的潜力，以及在改进评估指标下的表现。

提出的方法

• 该模型使用编码器将输入视频帧映射到潜在空间，随后通过神经微分方程在该空间中建模连续时间动态。
• 神经微分方程由一个神经网络参数化，用于估计潜在状态的时间导数，从而实现表征的连续演化。
• 解码器通过在时间上积分神经微分方程，从神经微分方程生成的潜在状态中重建像素级帧。
• 训练通过输入帧的重建进行，而非直接预测，以稳定连续动态的学习。
• 推理过程中，模型将神经微分方程在训练序列之外的时间上向前积分，以预测未来帧。
• 该方法支持非均匀时间采样，并可通过在分数时间步长处评估潜在状态，实现时间插值。

实验结果

研究问题

• RQ1 神经微分方程是否能有效建模视频数据中的连续时间动态，以实现未来帧预测？
• RQ2 与自回归或循环方法相比，使用神经微分方程建模潜在空间轨迹在平滑性与泛化能力方面表现如何？
• RQ3 学习到的潜在表征在多大程度上实现了空间与时间变化因素的解耦？
• RQ4 模型能否通过在非整数时间步长处采样潜在状态来实现时间插值？
• RQ5 基于重建的训练策略在无显式预测监督的情况下，如何泛化到未来帧预测？

主要发现

• 该模型仅通过基于重建的训练，在1位和2位Moving MNIST数据集上即实现了令人满意的未来帧预测结果。
• 使用神经微分方程在潜在空间中实现了平滑、连续的轨迹，支持视频帧的外推与插值。
• 即使在确定性推理下，模型也能很好地泛化到未见过的未来时间步长，表明其对底层动态的学习具有鲁棒性。
• 该方法通过连续潜在动态自然支持非均匀时间采样与帧率提升。
• 初步证据表明，潜在空间可能隐式地解耦了空间与时间因素，但尚需进一步分析。
• 该模型在更大视频数据集上具有广泛应用潜力，未来可拓展至视频编辑与帧率转换等任务。