[论文解读] Neural graphical modelling in continuous-time: consistency guarantees and algorithms

Alexis Bellot, Kim Branson+1 more|arXiv (Cornell University)|May 6, 2021

Neural Networks and Applications被引用 4

一句话总结

该论文提出了一种基于惩罚神经常微分方程的连续时间神经图形模型（NGM），用于学习随机微分方程中局部依赖关系的有向图。该方法建立了使用神经网络参数化向量场的结构恢复一致性保证，并在不规则采样多变量时间序列上表现出优于最先进离散时间方法的性能。

ABSTRACT

The discovery of structure from time series data is a key problem in fields of study working with complex systems. Most identifiability results and learning algorithms assume the underlying dynamics to be discrete in time. Comparatively few, in contrast, explicitly define dependencies in infinitesimal intervals of time, independently of the scale of observation and of the regularity of sampling. In this paper, we consider score-based structure learning for the study of dynamical systems. We prove that for vector fields parameterized in a large class of neural networks, least squares optimization with adaptive regularization schemes consistently recovers directed graphs of local independencies in systems of stochastic differential equations. Using this insight, we propose a score-based learning algorithm based on penalized Neural Ordinary Differential Equations (modelling the mean process) that we show to be applicable to the general setting of irregularly-sampled multivariate time series and to outperform the state of the art across a range of dynamical systems.

研究动机与目标

• 解决离散时间图形模型在捕捉动力系统中真实连续时间依赖关系方面的局限性。
• 开发一种对不规则采样和不同观测频率具有鲁棒性的基于评分的学习算法。
• 建立使用随机微分方程中神经网络参数化向量场进行结构恢复的理论一致性保证。
• 实现从子采样或不规则时间序列数据中准确且可解释地发现复杂系统中的局部直接依赖关系。

提出的方法

• 将底层动力系统形式化为具有神经网络参数化漂移函数 f(θ) 的随机微分方程。
• 使用带有自适应组套索正则化的最小二乘优化方法来估计向量场 f(θ) 并恢复邻接矩阵 G。
• 应用惩罚神经常微分方程来建模均值过程，并从未规则离散观测中估计连续时间动力学。
• 采用近端梯度下降法进行优化，并结合自适应正则化，以确保边检测的稀疏性和一致性。
• 基于导数逼近和正则化的合理性论证，证明该方法能一致地恢复真实的局部独立图。
• 在多种动力系统和评估指标下，将 NGM 与离散时间基线方法（如神经格兰杰因果、PCMCI 和 SVAM）进行比较。

实验结果

研究问题

• RQ1 基于神经网络的连续时间模型能否一致地恢复随机微分方程中真实底层有向图的局部依赖关系？
• RQ2 在不规则采样和不同观测频率下，连续时间结构学习的性能与离散时间方法相比如何？
• RQ3 在惩罚神经ODE框架中，自适应正则化在多大程度上提升了结构恢复的准确性和鲁棒性？
• RQ4 当应用于洛伦兹和罗斯勒吸引子等非线性混沌系统时，该方法是否仍能保持一致性和准确性？
• RQ5 该方法能否在不假设规则采样间隔的前提下，有效从子采样和噪声时间序列数据中学习因果结构？

主要发现

• 当向量场由一类广泛神经网络参数化时，所提出的 NGM 方法能一致地恢复随机微分方程中真实局部统计依赖的邻接矩阵。
• NGM 在所有测试的动力系统中均优于最先进离散时间方法（如神经格兰杰因果和 PCMCI），包括洛伦兹系统和罗斯勒系统。
• 该方法对不规则采样和不同观测频率具有鲁棒性，其误差率显著低于离散时间替代方法，尤其在低采样率下表现更优。
• 在糖酵解振荡器基准测试中，NGM 在存在噪声和非线性的情况下仍实现了高 F1 分数，并准确恢复了已知的非线性调控结构。
• 采用自适应组套索正则化可实现无需手动设定阈值的一致边检测，非零参数可直接指示边的存在。
• 实证结果表明，NGM 在高噪声和子采样条件下，仍能保持高真正例率和低假发现率，适用于多种系统。