[论文解读] Video Prediction via Example Guidance

Jingwei Xu, Harry+3 more|arXiv (Cornell University)|Jul 3, 2020

Generative Adversarial Networks and Image Synthesis被引用 9

一句话总结

本文提出视频预测示例引导方法（VPEG），通过检索相似的训练序列以构建显式分布目标，从而提升多模态视频预测的性能，实现更准确且多样化的未来帧生成。通过用示例引导的优化替代变分推断，VPEG在无需推理阶段标签数据的情况下，实现了更优的性能与对未见运动类别的泛化能力。

ABSTRACT

In video prediction tasks, one major challenge is to capture the multi-modal nature of future contents and dynamics. In this work, we propose a simple yet effective framework that can efficiently predict plausible future states. The key insight is that the potential distribution of a sequence could be approximated with analogous ones in a repertoire of training pool, namely, expert examples. By further incorporating a novel optimization scheme into the training procedure, plausible predictions can be sampled efficiently from distribution constructed from the retrieved examples. Meanwhile, our method could be seamlessly integrated with existing stochastic predictive models; significant enhancement is observed with comprehensive experiments in both quantitative and qualitative aspects. We also demonstrate the generalization ability to predict the motion of unseen class, i.e., without access to corresponding data during training phase.

研究动机与目标

• 为解决视频预测中建模多模态未来动态的挑战，传统基于高斯先验的变分方法难以捕捉多样的运动模式。
• 通过用从检索到的训练样本中导出的显式分布目标替代隐式潜在变量优化，提升采样效率与预测质量。
• 通过基于示例的引导而非记忆特定类别，实现在推理阶段对未见运动类别的泛化能力。
• 提供一种即插即用的解决方案，可兼容现有随机预测模型，无需架构重构即可提升性能。

提出的方法

• 该方法利用学习到的嵌入空间检索与输入最相似的K个训练序列，形成专家示例的集合。
• 从检索到的示例中构建显式的多模态分布目标，替代变分推断中的隐式先验。
• 提出一种新颖的优化方案，将预测建模为随机过程，直接利用基于示例的目标对未来帧分布进行建模。
• 引入对抗训练以提升生成帧的感知质量与真实感。
• 该框架具有模块化特性，可无缝集成至现有随机视频预测模型（如SVG或SV2P）中。
• 该方法避免依赖参数化先验，转而使用数据驱动的示例来引导分布建模。

实验结果

研究问题

• RQ1 与标准变分推断相比，基于示例的引导是否能提升视频预测中多模态未来动态的建模能力？
• RQ2 检索相似训练序列是否能提升预测的准确性与多样性，尤其是在复杂或未见的运动模式下？
• RQ3 所提方法是否能泛化至训练期间未见的运动类别进行预测？
• RQ4 检索示例数量（K）对预测性能与分布建模质量有何影响？
• RQ5 该方法能否有效集成至现有随机视频预测模型中以提升性能？

主要发现

• 所提出的VPEG方法在MovingMNIST、RobotPush和PennAction数据集上显著提升了视频预测质量，相比基线模型PSNR与SSIM指标均有提升。
• 当K=5时，RobotPush数据集上的PSNR与SSIM达到最优性能，表明五个检索示例在建模多样性与噪声抑制之间实现了最佳平衡。
• 若使用随机选择的示例而非相似示例，则生成运动不自然并出现伪影（如双图像效应），证明检索质量的关键作用。
• 模型成功泛化至预测训练阶段未见的运动类别（如PennAction数据集中的baseball_pitch），即使未在训练中接触过此类数据，也能生成视觉上合理的序列。
• 可视化结果表明，预测结果并非对示例的简单复制，而是受示例分布引导，展现出多样化且合理的运动模式。
• 该方法在泛化能力上优于SOTA模型（如Kim et al., 2019），对未见动作生成更准确、更真实的预测。