[论文解读] Revisiting Hierarchical Approach for Persistent Long-Term Video Prediction

Wonkwang Lee, Whie Jung+7 more|arXiv (Cornell University)|Apr 14, 2021

Generative Adversarial Networks and Image Synthesis参考文献 53被引用 13

一句话总结

本文提出了一种分层视频预测框架，首先使用随机循环模型生成长期语义标签图，然后通过视频到视频的翻译将这些标签图转化为高保真度的RGB帧。通过解耦结构建模与外观建模，该方法实现了前所未有的长期视频预测——超过数千帧——在驾驶和舞蹈视频基准测试中，其持久性和视觉质量显著优于先前的方法。

ABSTRACT

Learning to predict the long-term future of video frames is notoriously challenging due to inherent ambiguities in the distant future and dramatic amplifications of prediction error through time. Despite the recent advances in the literature, existing approaches are limited to moderately short-term prediction (less than a few seconds), while extrapolating it to a longer future quickly leads to destruction in structure and content. In this work, we revisit hierarchical models in video prediction. Our method predicts future frames by first estimating a sequence of semantic structures and subsequently translating the structures to pixels by video-to-video translation. Despite the simplicity, we show that modeling structures and their dynamics in the discrete semantic structure space with a stochastic recurrent estimator leads to surprisingly successful long-term prediction. We evaluate our method on three challenging datasets involving car driving and human dancing, and demonstrate that it can generate complicated scene structures and motions over a very long time horizon (i.e., thousands frames), setting a new standard of video prediction with orders of magnitude longer prediction time than existing approaches. Full videos and codes are available at https://1konny.github.io/HVP/.

研究动机与目标

• 为解决持久长期视频预测的挑战，即误差累积随时间推移导致帧质量下降。
• 克服先前方法在几秒后失效的局限性，这是由于像素级自回归生成中的误差传播所致。
• 证明基于离散语义结构的分层建模能够实现在复杂场景中的稳定、长时程视频生成。
• 验证随机估计、循环性、离散化以及解耦的结构-外观建模在实现持久预测中的重要性。
• 引入一种新型评估指标——逐镜头FVD，用于在无真实标签的情况下评估长期时空质量。

提出的方法

• 该方法使用预训练的语义分割网络从输入帧中提取密集的类别标签图，以在像素级别表示场景语义。
• 一个随机循环变分序列模型通过在离散语义空间中建模时间动态，预测未来的标签图，从而实现多模态未来生成。
• 预测的标签图随后通过条件图像生成器（视频到视频翻译）转换为RGB帧，实现结构预测与像素级生成的解耦。
• 通过将结构预测与像素级生成独立展开，该架构实现了误差隔离，防止误差通过图像生成器传播。
• 模型采用离散化标签预测而非连续logits，这稳定了长期生成过程，并降低了对时间错位的敏感性。
• 引入一种新型评估指标——逐镜头FVD，通过逐片段比较视频片段的方式评估长期时空质量，而无需真实标签。

实验结果

研究问题

• RQ1 具有离散语义结构建模的分层视频预测模型是否能够实现超越自回归像素级模型极限的持久长期生成？
• RQ2 与确定性方法相比，结构空间中的随机估计如何提升长期预测性能？
• RQ3 在语义标签空间中，循环性和离散化对长期稳定性和视觉质量有何影响？
• RQ4 将结构预测与像素级生成解耦是否能防止误差累积并实现稳定、长时程的生成？
• RQ5 像逐镜头FVD这样的新型评估指标是否能在无真实标签的情况下可靠评估长期视频预测质量？

主要发现

• 所提方法可生成超过10,000帧的视觉连贯且结构合理的视频序列，远超以往方法通常仅数秒的限制。
• 随机估计显著提升了长期性能，通过支持多模态未来预测并避免局部最优，表现为更优的逐镜头FVD得分。
• 循环建模（LSTM）在短期和中期预测中均优于前馈网络（CNN），表明时间记忆对结构动态建模至关重要。
• 对预测标签图进行离散化至关重要：在连续logits空间（SVG_soft）或RGB空间（SVG_rgbprop）展开的模型迅速退化，显示出长期生成中的不稳定性。
• 消融实验确认，分层设计——即结构预测与图像转换分离——可防止误差传播并实现持久预测。
• 所提出的逐镜头FVD指标与人类感知高度相关，并可在无真实标签的情况下实现对长期视频预测质量的可扩展评估。