[论文解读] PDE-Driven Spatiotemporal Disentanglement

Jérémie Donà, Jean-Yves Franceschi+2 more|arXiv (Cornell University)|Aug 4, 2020

Generative Adversarial Networks and Image Synthesis参考文献 74被引用 7

一句话总结

本文提出了一种基于偏微分方程（PDE）的时空解耦框架，通过函数变量分离方法，学习高维时空预测中的解耦空间与时间表征。通过利用学习到的常微分方程（ODE）建模动力学，并借助正则化强制实现可分性，该方法在物理和合成视频数据集上实现了最先进性能，相较于先前模型在可解释性和效率方面均有提升。

ABSTRACT

A recent line of work in the machine learning community addresses the problem of predicting high-dimensional spatiotemporal phenomena by leveraging specific tools from the differential equations theory. Following this direction, we propose in this article a novel and general paradigm for this task based on a resolution method for partial differential equations: the separation of variables. This inspiration allows us to introduce a dynamical interpretation of spatiotemporal disentanglement. It induces a principled model based on learning disentangled spatial and temporal representations of a phenomenon to accurately predict future observations. We experimentally demonstrate the performance and broad applicability of our method against prior state-of-the-art models on physical and synthetic video datasets.

研究动机与目标

• 为解决高维动力学下复杂时空现象的预测挑战。
• 提升视频预测中空间与时间因子的可解释性与解耦性。
• 克服现有解耦方法中基于RNN的模型以及复杂对抗或变分架构的局限性。
• 为时空预测提供一种基于PDE理论、原理清晰、通用性强且计算高效的框架。

提出的方法

• 该方法将时空解耦建模为利用函数变量分离求解PDE的可分解解。
• 它将时空状态分解为空间分量S与时间分量T，其中T通过学习到的ODE演化。
• 通过预测损失与对S和T的正则化惩罚联合施加解耦约束。
• 模型采用类似变分自编码器（VAE）的架构并引入跳跃连接，其中编码器将观测映射为潜在S与T，解码器将时空状态重构为S与T的乘积。
• 时间动力学通过具有学习到的时间依赖变换的平坦ODE建模，T的导数通过使用卷积层捕捉局部动力学的神经网络计算。
• 该框架支持全局与局部变量分离，后者在具有局部输运现象的数据集上表现更优。

实验结果

研究问题

• RQ1 能否将PDE理论中的函数变量分离方法应用于深度学习模型，实现原理严谨的时空解耦？
• RQ2 与对抗或变分方法相比，通过正则化与基于ODE的动力学强制可分性，如何提升预测准确率与解耦性？
• RQ3 所提方法在包括物理系统与合成视频在内的多样化时空现象中，其泛化能力如何？
• RQ4 基于PDE的归纳偏置是否能带来更优的长期预测一致性与鲁棒性？

主要发现

• 在SST数据集上，该模型在t+6时达到0.86的MSE，t+10时为1.43，优于PhyDNet（1.27和1.91）与SVG（1.51和2.06）。
• 在SST数据集上，该模型在t+6时SSIM为0.7466，t+10时为0.6577，优于PhyDNet（0.5782和0.4645）与SVG（0.6259和0.5595）。
• 移除静态分量S的消融实验导致MSE在t+6时上升至0.95，t+10时为1.50，证实了解耦空间表征的重要性。
• 采用线性时间动态的模型在t+6时MSE为1.15，t+10时为1.80，表明非线性ODE相比简单动力学能进一步提升性能。
• 在WaveEq数据集上，模型保持了长期预测的一致性，如图7所示的定性样本与缩放差异分析所示。
• 在3D Warehouse Chairs数据集上的定性对比显示，所提模型生成的动态样本比DrNet更清晰、更准确，后者生成的输出模糊。