[论文解读] Neural Jump Ordinary Differential Equations: Consistent Continuous-Time Prediction and Filtering

Calypso Herrera, Florian Krach+1 more|arXiv (Cornell University)|Jun 8, 2020

Neural Networks and Applications参考文献 31被引用 8

一句话总结

本文提出神经跳跃常微分方程（NJ-ODE），一种连续时间模型，通过结合神经常微分方程与离散观测驱动的跳跃机制，学习不规则采样随机过程的$L^2$-最优预测。该模型首次为条件期望提供了理论收敛保证，在合成数据集和真实世界数据集上的理论与实践表现均优于先前方法，如GRU-ODE-Bayes和ODE-RNN。

ABSTRACT

Combinations of neural ODEs with recurrent neural networks (RNN), like GRU-ODE-Bayes or ODE-RNN are well suited to model irregularly observed time series. While those models outperform existing discrete-time approaches, no theoretical guarantees for their predictive capabilities are available. Assuming that the irregularly-sampled time series data originates from a continuous stochastic process, the $L^2$-optimal online prediction is the conditional expectation given the currently available information. We introduce the Neural Jump ODE (NJ-ODE) that provides a data-driven approach to learn, continuously in time, the conditional expectation of a stochastic process. Our approach models the conditional expectation between two observations with a neural ODE and jumps whenever a new observation is made. We define a novel training framework, which allows us to prove theoretical guarantees for the first time. In particular, we show that the output of our model converges to the $L^2$-optimal prediction. This can be interpreted as solution to a special filtering problem. We provide experiments showing that the theoretical results also hold empirically. Moreover, we experimentally show that our model outperforms the baselines in more complex learning tasks and give comparisons on real-world datasets.

研究动机与目标

• 解决现有模型（如GRU-ODE-Bayes和ODE-RNN）在不规则采样时间序列上缺乏理论保证的问题。
• 将随机过程的在线预测与滤波形式化为连续时间学习问题。
• 开发一种数据驱动模型，学习观测之间$L^2$-最优的条件期望。
• 建立一种新型训练框架，支持连续时间预测的收敛性证明。
• 通过实证验证，理论收敛性是否转化为复杂任务和真实世界数据上的性能提升。

提出的方法

• NJ-ODE使用神经常微分方程建模观测之间的潜在状态连续演化，确保动力学平滑。
• 在每次观测时间点，模型执行一次'跳跃'，基于新观测更新潜在状态，从而保留最新信息的记忆。
• 采用新型无监督训练框架，利用完整路径数据，包括训练序列的两半部分。
• 应用自填补（self-imputation）处理不完整观测，将观测掩码作为输入送入网络。
• 架构使用共享嵌入表示潜在状态，并通过独立的神经网络预测常微分方程的漂移项。
• 训练目标确保模型输出在期望意义下收敛至真实的条件期望$\mathbb{E}[X_{t+s} \mid X_t = x_t]$。

实验结果

研究问题

• RQ1 基于观测驱动跳跃的神经常微分方程模型能否实现对不规则采样随机过程$L^2$-最优预测的理论收敛？
• RQ2 所提出的训练框架是否能在先前模型（如GRU-ODE-Bayes和ODE-RNN）缺乏理论保证的情况下，提供收敛性保证？
• RQ3 在真实世界数据和合成数据上，该模型在外推精度方面与基线模型（如潜在常微分方程和ODE-RNN）相比表现如何？
• RQ4 该模型能否在不显式建模路径历史的情况下，泛化至复杂且非马氏性质的依赖关系？
• RQ5 架构选择（如隐藏层大小和训练调度）对收敛性和预测准确性有何影响？

主要发现

• NJ-ODE模型实现了向$L^2$-最优预测的理论收敛，是首个具备可证明保证的此类模型。
• 在PhysioNet数据集上，NJ-ODE采用更大架构时，测试MSE达到$1.934 \pm 0.007 \times 10^{-3}$，优于基线潜在常微分方程及其他先前方法。
• 该模型在多种随机过程（包括Black-Scholes、Ornstein-Uhlenbeck和Heston模型）中表现稳健，可视化对比结果清晰显示其优越性。
• 即使经过极少的超参数调优，NJ-ODE的性能仍可匹配或超越采用监督重建目标训练的模型。
• 无监督训练框架（利用完整路径进行训练）相比仅使用分割序列训练的模型，展现出更优的泛化能力。
• 实证结果证实，理论收敛性确实转化为更高的预测准确性，尤其在长程外推任务中表现显著。