[论文解读] PastNet: Introducing Physical Inductive Biases for Spatio-temporal Video Prediction

Hao Wu, Fan Xu+4 more|arXiv (Cornell University)|May 19, 2023

Advanced Image Processing Techniques被引用 4

一句话总结

PastNet 通过在傅里叶域中利用谱卷积来编码潜在的物理规律，将物理归纳偏置引入时空视频预测，同时使用具有内在维度估计的内存库以降低计算成本。它在视频预测质量与训练效率方面达到最先进水平，尤其在高分辨率视频上表现优异，于 MovingMNIST 数据集上仅用 4.16 小时完成 100 个周期的训练，且 MSE、SSIM 和 PSNR 指标均优于先前方法。

ABSTRACT

In this paper, we investigate the challenge of spatio-temporal video prediction task, which involves generating future video frames based on historical spatio-temporal observation streams. Existing approaches typically utilize external information such as semantic maps to improve video prediction accuracy, which often neglect the inherent physical knowledge embedded within videos. Worse still, their high computational costs could impede their applications for high-resolution videos. To address these constraints, we introduce a novel framework called \underline{P}hysics-\underline{a}ssisted \underline{S}patio-\underline{t}emporal \underline{Net}work (PastNet) for high-quality video prediction. The core of PastNet lies in incorporating a spectral convolution operator in the Fourier domain, which efficiently introduces inductive biases from the underlying physical laws. Additionally, we employ a memory bank with the estimated intrinsic dimensionality to discretize local features during the processing of complex spatio-temporal signals, thereby reducing computational costs and facilitating efficient high-resolution video prediction. Extensive experiments on various widely-used spatio-temporal video benchmarks demonstrate the effectiveness and efficiency of the proposed PastNet compared with a range of state-of-the-art methods, particularly in high-resolution scenarios.

研究动机与目标

• 解决现有视频预测模型忽视时空动态背后物理规律的局限性。
• 在不损失精度的前提下，降低高分辨率视频预测的计算复杂度。
• 直接从视频数据中整合物理归纳偏置，避免依赖外部输入（如语义图或光流）。
• 通过傅里叶域中的可学习谱卷积机制，实现高效、可扩展且高质量的视频预测。
• 展示模型在求解偏微分方程（PDEs）如纳维-斯托克斯方程与浅水方程方面的能力。

提出的方法

• 在傅里叶域中引入谱卷积算子，以从数据本身嵌入物理归纳偏置。
• 在谱卷积后应用逆傅里叶变换，将输出帧重建回空间域。
• 采用离散时空模块，估计内在维度并利用内存库对局部特征进行离散化，以减轻计算负载。
• 使用可学习特征投影门（FPG）模块，以增强特征表示能力并提升在不同数据集上的适应性。
• 集成内存库机制，以紧凑的、学习得到的表示替代局部特征，提升效率。
• 端到端训练，使用标准视频预测损失函数，无需外部监督或辅助信号。

Figure 1. Performance comparison of different video prediction methods on MovingMNIST. Our PastNet outperforms previous models in terms of training time and image quality. Specifically, the PastNet achieves the lowest MSE and highest MS-SSIM scores when trained for 100 epochs, and its training time

实验结果

研究问题

• RQ1 傅里叶域中的谱卷积能否有效从原始视频数据中编码物理归纳偏置，从而提升预测性能？
• RQ2 内在维度估计与内存库的整合是否能显著降低计算成本，同时保持高预测质量？
• RQ3 PastNet 是否能在包括自然现象与合成视频基准在内的多样化数据集上实现一致的高性能表现，展现良好泛化能力？
• RQ4 PastNet 在视频预测设置下，对复杂 PDE（如纳维-斯托克斯方程与浅水方程）的求解能力达到何种程度？
• RQ5 在高分辨率视频预测任务中，PastNet 与最先进模型相比，其训练速度与收敛速率如何？

主要发现

• 在 100 个周期后，PastNet 在 MovingMNIST 上实现了最低的 MSE 和最高的 MS-SSIM，训练时间仅为 4.16 小时，显著快于竞争模型。
• 在 Natural Phenomenon 数据集上，PastNet 搭载 FPG 模块时表现最佳，而使用 UNet 作为替代模块亦保持强劲性能，体现出模型的灵活性。
• 在 60 个周期内，PastNet 的 SSIM 达到约 0.92，而其他模型仍低于 0.85，表明其具有快速的收敛速度。
• 在 100 个周期后，PastNet 的 PSNR 达到约 38，显著优于其他模型，图像质量更优。
• PastNet 展现出求解 PDE 的强潜力，在浅水方程（SWE）上的 MSE 和 MAE 均低于纳维-斯托克斯方程（NSE），且每轮训练时间相近。
• 消融实验确认 FPG 与 DST 模块均至关重要：移除 FPG 会降低性能，而移除 DST 会减慢训练速度，凸显二者在精度与效率中的关键作用。

Figure 2. An overview of the proposed PastNet, which consists of a Fourier-based Physics-guided (FPG) and a Discrete Spatio-temporal (DST) module. The PFI module first divides video frames into non-overlapping patches and introduce Fourier-based spectral filter with the introduction of physical bias