[论文解读] Neural Controlled Differential Equations for Online Prediction Tasks

James Morrill, Patrick Kidger+2 more|arXiv (Cornell University)|Jun 21, 2021

Machine Learning in Healthcare参考文献 29被引用 10

一句话总结

本文提出用于神经控制微分方程（Neural CDEs）的矩形和三次 Hermite 样条控制路径，通过确保因果性和可测性，实现了真正的在线预测。作者在 MIMIC-IV ICU 监测任务的三个基准上展示了最先进的性能，优于在线设置下的 ODE 基线和 SOTA 非 ODE 方法。

ABSTRACT

Neural controlled differential equations (Neural CDEs) are a continuous-time extension of recurrent neural networks (RNNs), achieving state-of-the-art (SOTA) performance at modelling functions of irregular time series. In order to interpret discrete data in continuous time, current implementations rely on non-causal interpolations of the data. This is fine when the whole time series is observed in advance, but means that Neural CDEs are not suitable for use in extit{online prediction tasks}, where predictions need to be made in real-time: a major use case for recurrent networks. Here, we show how this limitation may be rectified. First, we identify several theoretical conditions that interpolation schemes for Neural CDEs should satisfy, such as boundedness and uniqueness. Second, we use these to motivate the introduction of new schemes that address these conditions, offering in particular measurability (for online prediction), and smoothness (for speed). Third, we empirically benchmark our online Neural CDE model on three continuous monitoring tasks from the MIMIC-IV medical database: we demonstrate improved performance on all tasks against ODE benchmarks, and on two of the three tasks against SOTA non-ODE benchmarks.

研究动机与目标

• 为解决现有神经 CDE 在在线预测任务中因非因果数据插值导致的局限性。
• 形式化理想神经 CDE 控制方案应满足的理论条件——有界性、唯一性、可测性和光滑性。
• 开发满足这些条件的新插值方案，特别是实现实时推理。
• 在 MIMIC-IV 数据库的连续监测任务上实证验证所提方案。
• 根据任务需求（在线/离线、缺失数据、速度与精度权衡）提供控制路径方案选择的实用建议。

提出的方法

• 提出矩形控制路径作为因果一致且可测的插值方案，适用于在线预测。
• 引入使用后向差分的三次 Hermite 样条，以在保持在线可行性的同时提升光滑性和速度。
• 形式化控制路径的理论条件，包括有界性、唯一性及重参数化不变性。
• 在 torchcde 开源库中实现新方案，以提升广泛可及性。
• 采用连续伴随方法实现连续时间下的高效训练与推理。
• 在 MIMIC-IV 任务上，将采用矩形和 Hermite 控制路径的在线神经 CDE 与 ODE 及 SOTA 非 ODE 基线进行基准对比。

实验结果

研究问题

• RQ1 神经 CDE 的控制路径必须具备哪些理论特性，才能实现在线预测？
• RQ2 如何设计神经 CDE 的插值方案，使其在实时环境中具备因果一致性与可测性？
• RQ3 在神经 CDE 控制路径设计中，速度、精度与在线可行性之间存在何种权衡？
• RQ4 矩形和三次 Hermite 样条控制路径在在线与离线设置下，与现有方案（如线性、自然三次样条）相比，实证表现如何？
• RQ5 在在线 ICU 监测任务中，哪种控制路径方案在性能-精度-速度权衡上表现最佳？

主要发现

• 矩形控制路径是唯一能实现真正连续在线预测的方案，因其仅依赖于过去和当前数据。
• 使用后向差分的三次 Hermite 样条在速度与性能之间取得良好平衡，其速度优于线性和矩形方案，同时保持了具有竞争力的精度。
• 所提出的在线神经 CDE 模型在 MIMIC-IV 的三项连续监测任务中的两项上达到最先进性能，优于 SOTA 非 ODE 基线。
• 自然三次样条在所有测试方案中速度最快，适用于对速度优先的离线任务。
• 实证结果表明，矩形和 Hermite 基方案在 ICU 监测任务的在线设置中，始终优于线性和自然三次样条基线。
• 在 torchcde 库中实现矩形和 Hermite 控制路径，促进了所提方法的广泛采用与可复现性。