[论文解读] ODE2VAE: Deep generative second order ODEs with Bayesian neural networks

Çağatay Yıldız, Markus Heinonen+1 more|arXiv (Cornell University)|Jan 1, 2019

Generative Adversarial Networks and Image Synthesis参考文献 14被引用 60

一句话总结

ODE2VAE 提出了一种深度生成模型，利用二阶常微分方程（ODE）与贝叶斯神经网络，从高维序列数据中学习连续时间的潜在动力学。通过在概率潜在 ODE 框架中显式建模动量与位置，该方法在动作捕捉、图像旋转和弹跳小球数据集上的长期运动预测与数据填补任务中实现了最先进性能。

ABSTRACT

We present Ordinary Differential Equation Variational Auto-Encoder (ODE2VAE), a latent second order ODE model for high-dimensional sequential data. Leveraging the advances in deep generative models, ODE2VAE can simultaneously learn the embedding of high dimensional trajectories and infer arbitrarily complex continuous-time latent dynamics. Our model explicitly decomposes the latent space into momentum and position components and solves a second order ODE system, which is in contrast to recurrent neural network (RNN) based time series models and recently proposed black-box ODE techniques. In order to account for uncertainty, we propose probabilistic latent ODE dynamics parameterized by deep Bayesian neural networks. We demonstrate our approach on motion capture, image rotation, and bouncing balls datasets. We achieve state-of-the-art performance in long term motion prediction and imputation tasks.

研究动机与目标

• 使用结构化的潜在空间对高维序列数据中的复杂连续时间动力学进行建模。
• 通过在二阶 ODE 框架中显式建模动量与位置，提升长期运动预测与数据填补性能。
• 通过深度贝叶斯神经网络在潜在动力学中引入不确定性量化。
• 通过二阶动力学强制实现物理合理性，克服 RNN 和黑箱 ODE 方法的局限性。
• 在动作捕捉与图像旋转等基准序列数据任务上实现最先进性能。

提出的方法

• 该模型将潜在空间分解为动量与位置分量，从而通过二阶 ODE 系统描述连续时间动力学。
• 使用深度贝叶斯神经网络参数化 ODE 动力学，以建模学习到的动力学中的不确定性。
• 通过变分自编码器（VAE）目标端到端训练潜在 ODE 系统，同时优化重建损失与先验正则化。
• 采用随机梯度变分贝叶斯（SGVB）进行近似后验推断，实现对高维序列的可扩展训练。
• 二阶 ODE 的形式相比一阶 ODE 或 RNN 具有更强的表达能力与物理可解释性。
• 该框架通过正向或反向求解学习到的 ODE，支持序列数据的生成与填补。

实验结果

研究问题

• RQ1 基于二阶 ODE 的潜在模型是否能在建模复杂序列动力学方面超越一阶 ODE 与 RNN？
• RQ2 对潜在 ODE 使用贝叶斯神经网络参数化，能否有效处理高维时间序列中的不确定性？
• RQ3 显式分解动量与位置是否能提升长期运动预测与数据填补性能？
• RQ4 二阶 ODE 结构在多大程度上增强了学习到的动力学的可解释性与泛化能力？
• RQ5 所提出的 ODE2VAE 框架是否在基准序列数据任务上实现了最先进性能？

主要发现

• ODE2VAE 在动作捕捉与图像旋转数据集上的长期运动预测任务中实现了最先进性能。
• 该模型展现出卓越的数据填补能力，能有效恢复序列轨迹中的缺失片段。
• 结合二阶 ODE 与贝叶斯神经网络，实现了对潜在动力学中不确定性量化的准确性。
• 显式动量与位置分解相比一阶模型，能生成更稳定且物理上更合理的潜在轨迹。
• 该框架在多种序列数据类型（包括动作捕捉、图像旋转与弹跳小球）上均表现出良好的泛化能力。
• 将深度贝叶斯网络集成到 ODE2VAE 框架中，提升了对噪声或不完整观测的鲁棒性。