[论文解读] Photo-Realistic Video Prediction on Natural Videos of Largely Changing Frames

Osamu Shouno|arXiv (Cornell University)|Mar 19, 2020

Advanced Image Processing Techniques参考文献 35被引用 24

一句话总结

该论文提出了一种具有对抗性损失和感知损失的分层残差视频预测网络，以生成逼真的未来帧，尤其在大范围相机运动下表现优异。通过自顶向下的连接融合多尺度预测，并结合VGG和MAE损失进行优化，该模型在自然驾驶视频的下一帧和多步预测任务中，在感知质量（LPIPS）和清晰度方面均达到当前最先进水平。

ABSTRACT

Recent advances in deep learning have significantly improved performance of video prediction. However, state-of-the-art methods still suffer from blurriness and distortions in their future predictions, especially when there are large motions between frames. To address these issues, we propose a deep residual network with the hierarchical architecture where each layer makes a prediction of future state at different spatial resolution, and these predictions of different layers are merged via top-down connections to generate future frames. We trained our model with adversarial and perceptual loss functions, and evaluated it on a natural video dataset captured by car-mounted cameras. Our model quantitatively outperforms state-of-the-art baselines in future frame prediction on video sequences of both largely and slightly changing frames. Furthermore, our model generates future frames with finer details and textures that are perceptually more realistic than the baselines, especially under fast camera motions.

研究动机与目标

• 为解决无监督视频预测中在大范围相机运动下预测结果模糊和失真的长期问题。
• 通过结合对抗性损失和感知损失函数，提升未来帧生成的感知真实感。
• 设计一种分层残差网络架构，以在多分辨率下建模时空动态，实现更优的特征表示。
• 通过增强高频细节建模，减少递归多步预测中的误差累积。
• 探究不同损失组合（尤其是VGG和MAE损失）对视频预测质量的影响。

提出的方法

• 提出一种具有分层架构的深度残差网络，其中每一层在不同空间分辨率下预测未来帧。
• 利用自顶向下的跳跃连接融合多尺度预测，实现高分辨率特征的精细化。
• 采用对抗性损失，在端到端的GAN框架中训练生成器，以提升生成结果的真实感。
• 基于预训练VGG网络的特征引入感知损失，以保留纹理和细节。
• 将平均绝对误差（MAE）损失与VGG损失及对抗性损失结合，以平衡像素级精度与感知质量。
• 在GAN设置中采用多尺度判别器，以提升不同分辨率下的生成质量。

实验结果

研究问题

• RQ1 分层残差网络架构是否能提升大范围相机运动下的视频预测质量？
• RQ2 对抗性损失和感知损失在减少模糊和增强纹理细节方面有多有效？
• RQ3 结合VGG和MAE损失是否能带来优于单独使用任一损失的感知质量？
• RQ4 与基线方法相比，该模型在递归多步预测中的表现如何？
• RQ5 对抗性损失与感知损失在生成逼真帧方面各自贡献如何？

主要发现

• G-VGG模型在Caltech行人数据集上的LPIPS得分上达到新的最先进水平，略优于GAN-VGG。
• 与基线方法相比，GAN-VGG和G-VGG显著减少了模糊并提升了纹理细节，尤其在快速相机运动下表现更优。
• VGG与MAE损失的结合（GAN-VGG、G-VGG）带来了最佳的感知质量，表现为更低的LPIPS分数和更清晰的视觉结果。
• 对抗性损失进一步提升了多步预测性能，尤其在长序列中减少了失真。
• 未使用VGG损失的模型（如GAN-MAE、G-MAE）尽管SSIM相近，但生成结果更模糊，表明VGG损失对感知真实感至关重要。
• 在多步预测中，GAN-VGG在第9帧未来帧上优于G-VGG，表明对抗性训练有助于稳定长时序生成。