[论文解读] Neural Ordinary Differential Equations for Intervention Modeling

Daehoon Gwak, Gyuhyeon Sim+4 more|arXiv (Cornell University)|Oct 16, 2020

Machine Learning in Healthcare参考文献 1被引用 6

一句话总结

本文提出 IMODE，一种新型神经ODE框架，通过使用两个独立的ODE，将自主系统动力学与外部干预影响分离：一个用于观测驱动的动力学，另一个用于干预效应。在合成数据和真实世界医疗时间序列数据上的实验表明，IMODE在建模干预效应方面优于现有方法，同时实现了动力学与干预影响的可解释性解耦。

ABSTRACT

By interpreting the forward dynamics of the latent representation of neural networks as an ordinary differential equation, Neural Ordinary Differential Equation (Neural ODE) emerged as an effective framework for modeling a system dynamics in the continuous time domain. However, real-world systems often involves external interventions that cause changes in the system dynamics such as a moving ball coming in contact with another ball, or such as a patient being administered with particular drug. Neural ODE and a number of its recent variants, however, are not suitable for modeling such interventions as they do not properly model the observations and the interventions separately. In this paper, we propose a novel neural ODE-based approach (IMODE) that properly model the effect of external interventions by employing two ODE functions to separately handle the observations and the interventions. Using both synthetic and real-world time-series datasets involving interventions, our experimental results consistently demonstrate the superiority of IMODE compared to existing approaches.

研究动机与目标

• 解决现有神经ODE模型在处理改变系统动力学的外部干预方面的局限性。
• 开发一种方法，分别建模系统的自主演化与外部干预的影响。
• 实现在连续时间动态系统中对干预效应的可解释且解耦的建模。
• 提升涉及不规则或显著干预（如医疗治疗）的时间序列数据的预测准确性。

提出的方法

• IMODE采用两个不同的ODE函数：一个基于观测建模系统状态的自主动力学，另一个建模外部干预的影响。
• 干预ODE由一个神经网络参数化，该网络接收干预输入和时间信息，并更新系统动力学，而非直接修改状态。
• 潜在状态被分解为两个分量：$\mathbf{z}_x$ 表示自主动力学，$\mathbf{z}_a$ 表示干预效应，从而实现解耦。
• 模型通过变分推断端到端训练，系统状态通过联合ODE的数值积分演化。
• 该框架支持离散和连续干预，包括衰减或永久性效应。
• 在真实世界医疗数据中，通过使用Sigmoid激活函数进行多治疗预测，并在连续干预场景中移除梯度反转层，对架构进行了适应性调整。

实验结果

研究问题

• RQ1 基于神经ODE的模型能否有效解耦自主系统动力学与外部干预？
• RQ2 IMODE在合成和真实世界时间序列数据上的干预建模基线中表现如何？
• RQ3 IMODE的解耦表征是否能实现对干预效应更可解释的建模？
• RQ4 IMODE能否泛化到具有不规则和多模态干预的复杂真实世界医疗时间序列？

主要发现

• 在合成数据和eICU数据集上，IMODE在预测干预下的时间序列轨迹方面始终优于ODE-RNN、RNN-Decay等基线模型。
• 在eICU数据集上，IMODE对血压轨迹（包括收缩压、舒张压和平均压）的预测最为准确，尤其是在去甲肾上腺素给药后。
• $\mathbf{z}_x$ 的$L_2$ 范数在时间上保持稳定，表明对自主动力学的建模具有鲁棒性；而$||\mathbf{z}_a||_2$ 在干预时刻显著上升并逐渐衰减，证实了干预效应的有效解耦。
• 在合成实验中，IMODE正确捕捉了衰减的干预效应和永久性变化，而基线模型未能准确建模干预影响。
• 模型行为分析表明，干预效应与系统动力学被独立学习，验证了模型的解耦目标。
• 对于连续且不可预测的干预（如移动小球和指数衰减场景），当治疗分类器被禁用时，IMODE在性能上优于CRN，显示出更强的泛化能力。