[论文解读] Theoretical Guarantees for Learning Conditional Expectation using Controlled ODE-RNN.

Calypso Herrera, Florian Krach+1 more|arXiv (Cornell University)|Jun 8, 2020

Model Reduction and Neural Networks参考文献 16被引用 4

一句话总结

该论文提出了一种受控 ODE-RNN，这是一种神经网络架构，通过结合神经随机微分方程（neural ODE）与离散跳跃，利用隐状态的演化建模循环神经网络（RNN）的潜在状态，从而实现对随机过程条件数学期望的数据驱动学习。在正则性条件下，理论上证明了该模型的输出过程收敛于真实的条件数学期望过程。

ABSTRACT

Continuous stochastic processes are widely used to model time series that exhibit a random behaviour. Predictions of the stochastic process can be computed by the conditional expectation given the current information. To this end, we introduce the controlled ODE-RNN that provides a data-driven approach to learn the conditional expectation of a stochastic process. Our approach extends the ODE-RNN framework which models the latent state of a recurrent neural network (RNN) between two observations with a neural ordinary differential equation (neural ODE). We show that controlled ODEs provide a general framework which can in particular describe the ODE-RNN, combining in a single equation the continuous neural ODE part with the jumps introduced by RNN. We demonstrate the predictive capabilities of this model by proving that, under some regularities assumptions, the output process converges to the conditional expectation process.

研究动机与目标

• 开发一种数据驱动方法，用于在时间序列建模中学习随机过程的条件期望。
• 通过引入受控 ODE，将 ODE-RNN 框架扩展为统一连续动力学与离散跳跃的模型。
• 为模型输出收敛于真实条件期望过程提供理论保证。
• 建立一个统一框架，将连续神经 ODE 动力学与 RNN 引发的跳跃整合于单一方程之中。

提出的方法

• 受控 ODE-RNN 使用带有受控输入的神经 ODE 来建模观测之间的潜在状态演化，其中受控输入代表离散的 RNN 更新。
• 该框架通过神经 ODE 实现连续时间动力学，同时通过受控随机微分方程形式化表示 RNN 转移带来的离散跳跃。
• 在每个时间步，通过积分依赖于当前输入和前一隐藏状态的受控 ODE 来更新潜在状态。
• 该模型采用连续时间流实现状态演化，并在观测时间点引入不连续更新以模拟 RNN 行为。
• 理论分析基于受控 ODE 的漂移函数与控制函数的正则性假设，以确保收敛性。
• 该架构支持网络参数的端到端训练，以逼近条件期望。

实验结果

研究问题

• RQ1 结合神经 ODE 与 RNN 的神经网络架构能否以数据驱动方式学习随机过程的条件期望？
• RQ2 如何在单一数学框架中正式统一连续时间动力学与离散 RNN 更新？
• RQ3 受控 ODE-RNN 的输出在何种条件下收敛于真实的条件期望过程？
• RQ4 此类混合模型的预测性能可建立何种理论保证？

主要发现

• 受控 ODE-RNN 提供了一个统一框架，既能通过神经 ODE 建模连续潜在动力学，又能通过 RNN 更新捕捉离散跳跃。
• 在模型组件满足适当的正则性条件时，受控 ODE-RNN 的输出过程收敛于真实的条件期望过程。
• 该框架通过引入受控 ODE，对 ODE-RNN 进行了推广，显式建模了连续流与离散转换之间的相互作用。
• 理论分析证实，该模型能够一致地学习条件期望，为不确定性下的可靠时间序列预测奠定了基础。