[论文解读] Neural Rough Differential Equations for Long Time Series

James Morrill, Cristopher Salvi+3 more|arXiv (Cornell University)|Sep 17, 2020

Time Series Analysis and Forecasting参考文献 39被引用 26

一句话总结

本文提出了神经粗糙微分方程（Neural RDEs），这是一种新颖的框架，用小时间段内输入时间序列的对数签名表示替代传统神经CDE中的插值控制。通过利用粗糙路径理论，该方法实现了对长序列的高效建模，具有内存和时间效率优势——在训练速度、内存使用和性能方面相较于现有方法显著提升，尤其在长达17,000个观测值的序列上表现突出。

ABSTRACT

Neural controlled differential equations (CDEs) are the continuous-time analogue of recurrent neural networks, as Neural ODEs are to residual networks, and offer a memory-efficient continuous-time way to model functions of potentially irregular time series. Existing methods for computing the forward pass of a Neural CDE involve embedding the incoming time series into path space, often via interpolation, and using evaluations of this path to drive the hidden state. Here, we use rough path theory to extend this formulation. Instead of directly embedding into path space, we instead represent the input signal over small time intervals through its extit{log-signature}, which are statistics describing how the signal drives a CDE. This is the approach for solving extit{rough differential equations} (RDEs), and correspondingly we describe our main contribution as the introduction of Neural RDEs. This extension has a purpose: by generalising the Neural CDE approach to a broader class of driving signals, we demonstrate particular advantages for tackling long time series. In this regime, we demonstrate efficacy on problems of length up to 17k observations and observe significant training speed-ups, improvements in model performance, and reduced memory requirements compared to existing approaches.

研究动机与目标

• 为解决神经CDE在长序列上效率低下和可扩展性受限的问题，即训练过程变得极其缓慢且内存消耗巨大。
• 通过利用粗糙路径理论，将神经CDE框架扩展以处理非平稳、不可微或高度相关的时序数据。
• 通过使用对数签名对局部信号行为进行总结，降低有效序列长度，从而在不损失信息的前提下支持更大的时间步长。
• 在保持与连续时间伴随方法兼容的同时，实现高效的反向传播，同时提升泛化能力和训练稳定性。
• 在长达17,000个观测值的序列上进行实证验证，证明其在性能和效率方面优于神经CDE和ODE-RNN基线模型。

提出的方法

• 该方法将时间序列标准插值为可微路径X(t)的过程，替换为基于小时间段内信号对数签名的表示。
• 不再通过点态导数˙Xs驱动CDE，而是使用信号段的对数签名作为汇总统计量，驱动隐藏状态的演化。
• 该方法建立在粗糙路径理论基础上：粗糙微分方程（RDE）的解仅依赖于控制路径的对数签名，而非其点态值。
• 隐藏状态Zt通过控制微分方程dZt = fθ(Zt) dXt演化，其中X现由其在时间区间内的对数签名表示，从而支持更大的有效时间步长。
• 前向传播通过对数-ODE方法实现，该方法通过积分区间汇总而非逐点计算来数值求解RDE。
• 反向传播通过连续伴随方法实现，保持内存效率，并支持使用标准autograd工具进行端到端训练。

实验结果

研究问题

• RQ1 基于对数签名的时间序列表示是否能提升神经CDE在长序列上的效率和可扩展性？
• RQ2 用区间对数签名汇总替代点态插值，是否能降低内存和训练时间，同时保持或提升模型性能？
• RQ3 与标准神经CDE相比，神经RDE是否能更稳健地处理不可微或不规则时序数据？
• RQ4 在长达17,000个观测值的长序列上，神经RDE与神经CDE及ODE-RNN基线模型相比，性能表现如何？
• RQ5 将对数签名用作控制汇总是否能提升长时域建模任务中的泛化能力和稳定性？

主要发现

• 在EigenWorms数据集上，神经RDE（深度2）在时间步长为2时，仅用9.8小时训练和354.3 MB内存，测试准确率达到76.1%，在速度和内存效率方面均优于NCDE和ODE-RNN。
• 在BIDMC生命体征预测任务中，神经RDE3在时间步长512时，RR的L2损失为1.49 ± 0.08，HR为3.46 ± 0.13，SpO2为1.29 ± 0.15，优于所有基线模型。
• 在时间步长2048时，神经RDE3在所有生命体征上均保持低L2损失（1.83、5.58、1.72），而NCDE和ODE-RNN因内存溢出而失败。
• 神经RDE的训练时间随时间步长增加而显著缩短：从时间步长2的9.8小时降至时间步长1024的0.1小时，展现出显著的可扩展优势。
• 神经RDE的内存使用量从时间步长2的354.3 MB降至时间步长2048的10.2 MB，减少35倍；而NCDE和ODE-RNN即使在大时间步长下仍需超过100 MB内存。
• 神经RDE在长序列（最长达17,000个观测值）上达到最先进性能，训练时间低于1小时，内存使用低于150 MB；而ODE-RNN和NCDE在如此长序列下无法运行或变得不切实际。