[论文解读] STIP: A SpatioTemporal Information-Preserving and Perception-Augmented Model for High-Resolution Video Prediction

Zheng Chang, Xinfeng Zhang+3 more|arXiv (Cornell University)|Jun 9, 2022

Advanced Image Processing Techniques被引用 6

一句话总结

本文提出 STIP，一种新颖的时空视频预测模型，通过多粒度时空自编码器（MGST-AE）和时空门控循环单元（STGRU）保留高分辨率视频特征，同时利用学习感知损失（LP-loss）提升感知质量。STIP 在高分辨率视频预测基准上实现最先进性能，PSNR 和 LPIPS 指标均优于现有方法。

ABSTRACT

Although significant achievements have been achieved by recurrent neural network (RNN) based video prediction methods, their performance in datasets with high resolutions is still far from satisfactory because of the information loss problem and the perception-insensitive mean square error (MSE) based loss functions. In this paper, we propose a Spatiotemporal Information-Preserving and Perception-Augmented Model (STIP) to solve the above two problems. To solve the information loss problem, the proposed model aims to preserve the spatiotemporal information for videos during the feature extraction and the state transitions, respectively. Firstly, a Multi-Grained Spatiotemporal Auto-Encoder (MGST-AE) is designed based on the X-Net structure. The proposed MGST-AE can help the decoders recall multi-grained information from the encoders in both the temporal and spatial domains. In this way, more spatiotemporal information can be preserved during the feature extraction for high-resolution videos. Secondly, a Spatiotemporal Gated Recurrent Unit (STGRU) is designed based on the standard Gated Recurrent Unit (GRU) structure, which can efficiently preserve spatiotemporal information during the state transitions. The proposed STGRU can achieve more satisfactory performance with a much lower computation load compared with the popular Long Short-Term (LSTM) based predictive memories. Furthermore, to improve the traditional MSE loss functions, a Learned Perceptual Loss (LP-loss) is further designed based on the Generative Adversarial Networks (GANs), which can help obtain a satisfactory trade-off between the objective quality and the perceptual quality. Experimental results show that the proposed STIP can predict videos with more satisfactory visual quality compared with a variety of state-of-the-art methods. Source code has been available at \url{https://github.com/ZhengChang467/STIPHR}.

研究动机与目标

• 解决因特征压缩和循环记忆设计不足导致的高分辨率视频预测中信息丢失问题。
• 克服传统基于 MSE 的损失函数感知不敏感问题，避免生成模糊、不真实的预测结果。
• 设计一种高效、信息保留型的时空循环单元，优于计算量大的 LSTM，且忽略空间结构。
• 开发一种学习感知损失，平衡客观质量（PSNR）与感知真实感（LPIPS）。
• 在提升视觉质量的同时，降低计算成本，实现高分辨率视频预测的最先进性能。

提出的方法

• 基于 X-Net 架构构建多粒度时空自编码器（MGST-AE），在空间和时间域均使用多层级跳跃连接，以在编码和解码过程中保留多粒度特征。
• 提出一种轻量化、高效的时空门控循环单元（STGRU），作为 LSTM 的替代方案，显式建模隐藏状态转移中的时空依赖关系。
• STGRU 采用新颖的门控机制，在状态转移过程中保持时空一致性，减少信息丢失并降低计算负载。
• 通过结合 GAN 的对抗性损失与 MSE 损失，设计学习感知损失（LP-loss），利用预训练的 VGG 网络提取感知特征以提升生成结果的真实感。
• 完整 STIP 模型整合 MGST-AE、STGRU 和 LP-loss，端到端训练于高分辨率视频数据集（如 UCF Sports 和 Human3.6M）。
• 消融实验对比 STIP 与多种预测记忆机制及损失函数，采用相同编码器/解码器结构，并以 PSNR 和 LPIPS 作为评估指标，确保公平比较。

实验结果

研究问题

• RQ1 多粒度自编码器结构是否能有效保留高分辨率视频预测中特征提取的时空细节？
• RQ2 具备时空感知能力的门控循环单元（STGRU）是否能在更低计算成本下，优于标准 LSTM 和 GRU，更好地保留长程时空动态？
• RQ3 学习感知损失（LP-loss）是否能比标准 MSE 或仅 GAN 的损失，在客观质量（PSNR）与感知质量（LPIPS）之间实现更优平衡？
• RQ4 MGST-AE、STGRU 与 LP-loss 的集成是否能带来高分辨率视频预测基准上的最先进性能？
• RQ5 STIP 在推理速度、参数效率与视觉质量方面，相较于现有最先进方法表现如何？

主要发现

• 在 Human3.6M 数据集（4→4 帧）上，STGRU 达到 31.21 的 PSNR，优于所有其他记忆单元（包括 E3D-LSTM 和 Reversible-PM），仅需 3.14M 参数与 0.79G FLOPs。
• 与 E3D-LSTM 相比，STGRU 将 FLOPs 降低 56%，同时 PSNR 提升 1.28 dB，证明其在效率与性能上的优越性。
• 采用 LP-loss 后，STIP 在 Human3.6M 上的 LPIPS 得分为 7.54，相比仅使用 MSE 训练（10.44）降低 27.8%，表明感知质量显著提升。
• 在 UCF Sports 数据集（4→6 帧）上，STIP 使用 LP-loss 时 PSNR 达 25.47，LPIPS 为 27.67，优于仅使用 MSE 或 MSE+GAN 的基线模型，在感知质量上表现更优。
• 消融实验验证 LP-loss 有效平衡 PSNR 与 LPIPS，在 LPIPS 上相比仅使用 MSE 训练提升 12.5%，同时保持具有竞争力的 PSNR。
• STIP 在 UCF Sports 与 Human3.6M 上均实现最先进性能，展现出高分辨率视频预测中卓越的视觉质量与效率。