[论文解读] ODE$^2$VAE: Deep generative second order ODEs with Bayesian neural networks

Çağatay Yıldız, Markus Heinonen+1 more|arXiv (Cornell University)|May 27, 2019

Generative Adversarial Networks and Image Synthesis参考文献 35被引用 62

一句话总结

ODE2VAE 学习潜在的二阶常微分方程动力学，使用贝叶斯神经网络，将潜在空间分解为位置和速度，以建模高维序列数据并提升长期预测和插补。

ABSTRACT

We present Ordinary Differential Equation Variational Auto-Encoder (ODE$^2$VAE), a latent second order ODE model for high-dimensional sequential data. Leveraging the advances in deep generative models, ODE$^2$VAE can simultaneously learn the embedding of high dimensional trajectories and infer arbitrarily complex continuous-time latent dynamics. Our model explicitly decomposes the latent space into momentum and position components and solves a second order ODE system, which is in contrast to recurrent neural network (RNN) based time series models and recently proposed black-box ODE techniques. In order to account for uncertainty, we propose probabilistic latent ODE dynamics parameterized by deep Bayesian neural networks. We demonstrate our approach on motion capture, image rotation and bouncing balls datasets. We achieve state-of-the-art performance in long term motion prediction and imputation tasks.

研究动机与目标

• 为高维序列数据提供一个概率性、连续时间的潜在动力学模型。
• 将潜在空间分解为位置和速度，以捕捉二阶动力学。
• 结合贝叶斯神经网络来建模不确定的动力学并防止过拟合。
• 通过变分推断进行优化，以联合学习初始潜在状态、动力学和重建。
• 在动作捕捉、旋转 MNIST 和弹跳球数据集上展示最先进的结果。

提出的方法

• 在潜在空间引入带有位置 s_t 和速度 v_t 的二阶ODE。
• 用对权重 W 的贝叶斯神经网络参数化加速度场 f_W(s_t,v_t)。
• 使用变分自编码器框架，包含初始位置 s_0 和初始速度 v_0 的编码器，以及观测 x_t 的解码器。
• 应用变量的瞬时变化定理来推导潜在ODE流的对数密度演化。
• 采用带惩罚的变分损失（ODE2VAE-KL）以平衡重建、动力学和先验约束。
• 通过数值ODE积分（RK方法）求解潜在动力学，并使用重参数化与蒙特卡洛估计进行训练。

实验结果

研究问题

• RQ1 如何为高维序列数据学习一个二阶、连续时间的潜在动力学模型？
• RQ2 将潜在空间分解为位置和速度并使用贝叶斯加速度场能否改善长期预测和插补？
• RQ3 结合贝叶斯神经网络的变分推断是否能对潜在动力学进行正则化，以防止在复杂序列上的过拟合？
• RQ4 在动作捕捉和图像序列数据集上，ODE2VAE 与 RNN 和黑盒ODE方法相比如何？
• RQ5 带 KL 权重的正则化方案（ODE2VAE-KL）在平衡潜在损失和动态损失方面有哪些好处？

主要发现

模型	Mocap-1	Mocap-2	参考文献
GPDM	126.46 ± 34	N/A	Wang et al. (2008)
VGPLVM	142.18 ± 1.92	N/A	Damianou et al. (2011)
DTSBN-S	80.21 ± 0.04	34.86 ± 0.02	Gan et al. (2015)
npODE	45.74	22.96	Heinonen et al. (2018)
NeuralODE	87.23 ± 0.02	22.49 ± 0.88	Chen et al. (2018b)
ODE 2 VAE	93.07 ± 0.72	10.06 ± 1.4	current work
ODE 2 VAE-KL	15.99 ± 4.16	8.09 ± 1.95	current work

• 在高维序列上实现最先进的长期运动预测和插补。
• 在动作捕捉、旋转 MNIST 和弹跳球数据集上展示了改进的长期预测。
• 带潜在位置-速度分解的贝叶斯二阶动力学有助于缓解过拟合并提升泛化能力。
• 在若干序列任务上优于神经ODE和基于RNN的模型，特别是在外推和缺失数据情境中。
• KL 正则化变体（ODE2VAE-KL）进一步稳定训练并增强潜在流与编码器输出的一致性。