[论文解读] Neural SDEs as Infinite-Dimensional GANs

Patrick Kidger, James Foster+3 more|arXiv (Cornell University)|Feb 6, 2021

Model Reduction and Neural Networks参考文献 60被引用 7

一句话总结

本文通过将神经随机微分方程（SDEs）形式化为无限维Wasserstein生成对抗网络（GAN），将其视为连续时间生成模型，其中神经SDE充当生成器，神经控制微分方程（CDE）充当判别器。该方法实现了对任意漂移和扩散函数的端到端训练，无需依赖预设的统计量或密度函数，在无限数据极限下实现了独特的全局收敛性，且在时间序列建模任务中达到了最先进性能。

ABSTRACT

Stochastic differential equations (SDEs) are a staple of mathematical modelling of temporal dynamics. However, a fundamental limitation has been that such models have typically been relatively inflexible, which recent work introducing Neural SDEs has sought to solve. Here, we show that the current classical approach to fitting SDEs may be approached as a special case of (Wasserstein) GANs, and in doing so the neural and classical regimes may be brought together. The input noise is Brownian motion, the output samples are time-evolving paths produced by a numerical solver, and by parameterising a discriminator as a Neural Controlled Differential Equation (CDE), we obtain Neural SDEs as (in modern machine learning parlance) continuous-time generative time series models. Unlike previous work on this problem, this is a direct extension of the classical approach without reference to either prespecified statistics or density functions. Arbitrary drift and diffusions are admissible, so as the Wasserstein loss has a unique global minima, in the infinite data limit any SDE may be learnt. Example code has been made available as part of the exttt{torchsde} repository.

研究动机与目标

• 通过将SDE拟合重新解释为Wasserstein GAN问题，统一经典SDE建模与现代深度学习。
• 克服先前神经SDE方法依赖预设统计量或密度函数的局限性。
• 通过使用任意漂移和扩散函数，实现对随机时间序列的灵活且高容量建模。
• 证明Wasserstein GAN形式化可在无限数据极限下确保SDE学习的唯一全局最小值，从而实现对任意SDE的一致学习。

提出的方法

• 将神经SDE形式化为生成器，从布朗运动输入生成样本路径。
• 使用神经CDE作为判别器，以区分真实数据路径与生成路径。
• 通过1-Wasserstein损失使用极小-极大目标联合训练生成器与判别器。
• 使用深度神经网络对SDE的漂移和扩散函数进行参数化，以实现完全灵活性。
• 应用随机权重平均和最终的tanh非线性以稳定GAN类目标的训练。
• 使用Adadelta优化器和权重衰减以减轻极小-极大训练中常见的振荡行为。

实验结果

研究问题

• RQ1 经典SDE拟合方法，传统上依赖于预设统计量，能否被重新解释为基于GAN的学习问题？
• RQ2 将神经SDE形式化为无限维GAN，是否能实现在无需密度估计的情况下学习任意漂移和扩散函数？
• RQ3 与现有方法（如Latent ODEs和CTFPs）相比，该方法是否能在时间序列建模任务中实现更优性能？
• RQ4 Wasserstein GAN形式化是否能在无限数据极限下确保SDE学习的唯一全局收敛性？
• RQ5 哪些训练技术可稳定连续时间GAN中神经SDE的极小-极大目标？

主要发现

• 在金融时间序列数据集上，神经SDE在预测（0.144 ± 0.045）和MMD（1.92 ± 0.09）方面表现最佳，优于CTFP和Latent ODE。
• 在空气质量数据集上，神经SDE实现了最低的MMD（0.000160 ± 0.000029）和具有竞争力的预测性能（0.395 ± 0.056），表明其在路径空间建模方面具有显著优势。
• 在MNIST权重动态数据集上，神经SDE实现了最佳MMD（5.28 ± 1.27），且预测误差相比CTFP降低了10倍（0.00843 ± 0.00759）。
• 随机权重平均和最终的tanh非线性显著提升了训练稳定性和最终模型性能。
• Adadelta在训练稳定性和最终指标表现上优于SGD和Adam，尽管其原因尚不明确。
• 由于Wasserstein损失的唯一全局最小值，该方法在无限数据极限下成功学习了任意SDE，从而实现了稳定且灵活的建模。