[论文解读] Neural CDEs for Long Time Series via the Log-ODE Method

James Morrill, Patrick Kidger+3 more|arXiv (Cornell University)|May 4, 2021

Time Series Analysis and Forecasting参考文献 16被引用 13

一句话总结

本文提出对数-ODE方法，通过将原始输入序列替换为局部时间区间上的对数签名汇总，以提升神经CDE在长序列上的训练效率和性能。该方法减少了序列长度和内存使用量，同时使长达17,000个观测值的序列能够实现稳定训练，显著提升训练速度并改善模型准确率。

ABSTRACT

Neural Controlled Differential Equations (Neural CDEs) are the continuous-time analogue of an RNN, just as Neural ODEs are analogous to ResNets. However just like RNNs, training Neural CDEs can be difficult for long time series. Here, we propose to apply a technique drawn from stochastic analysis, namely the log-ODE method. Instead of using the original input sequence, our procedure summarises the information over local time intervals via the log-signature map, and uses the resulting shorter stream of log-signatures as the new input. This represents a length/channel trade-off. In doing so we demonstrate efficacy on problems of length up to 17k observations and observe significant training speed-ups, improvements in model performance, and reduced memory requirements compared to the existing algorithm.

研究动机与目标

• 为解决神经CDE在长序列上训练时面临的高内存占用和训练缓慢问题。
• 在不损害表征能力的前提下，提升长序列的训练速度和模型性能。
• 通过使用对数签名映射对输入数据进行汇总，引入序列长度与通道数之间的权衡。
• 实现对长达17,000个观测值序列的神经CDE的稳定且高效训练。
• 在保持或提升长序列上模型准确率的同时，降低内存需求。

提出的方法

• 对数-ODE方法将原始输入序列替换为在局部时间区间上计算的对数签名序列。
• 对数签名映射对短时间区间内的信息进行汇总，从而减少有效序列长度。
• 由此产生的较短的对数签名流被用作神经CDE的输入，从而实现更高效的训练。
• 该方法利用随机分析中的技术，以保持神经CDE的连续时间动态特性。
• 该方法实现了序列长度与输入通道维度之间的权衡。
• 该方法在保持神经CDE的连续时间特性的同时，提升了计算效率。

实验结果

研究问题

• RQ1 对数-ODE方法能否提升神经CDE在长序列上的训练效率和性能？
• RQ2 对数签名汇总对长序列中模型准确率和内存使用量有何影响？
• RQ3 对数-ODE方法在17,000个观测值的序列上能实现多大程度的可扩展性？
• RQ4 由对数签名引入的长度/通道权衡是否带来更好的训练稳定性和速度？
• RQ5 与标准神经CDE训练相比，该方法在内存占用和收敛速度方面表现如何？

主要发现

• 对数-ODE方法实现了对长达17,000个观测值序列的神经CDE的稳定训练，其长度远超以往可行范围。
• 与标准神经CDE训练相比，该方法实现了显著的训练加速。
• 由于优化更加稳定且梯度流动更优，模型性能得到提升。
• 由于输入序列通过对数签名汇总被压缩，内存需求降低。
• 该方法展示了有利的长度/通道权衡，可在减少输入通道数的同时处理更长的序列。
• 对数-ODE方法在保持神经CDE的连续时间建模能力的同时，提升了实际可扩展性。