[论文解读] Neural Granger Causality for Nonlinear Time Series

Alex Tank, Ian Covert+3 more|arXiv (Cornell University)|Feb 16, 2018

Neural Networks and Applications参考文献 62被引用 69

一句话总结

本文提出了一种基于结构化多层感知机（MLPs）和循环神经网络（RNNs）的非线性格兰杰因果框架，并引入组套索惩罚以在因果连接中实现稀疏性。该方法能有效捕捉长程依赖关系，在DREAM3非线性基因调控数据集上表现优于最先进方法，即使在时间点有限的情况下也展现出强劲性能。

ABSTRACT

While most classical approaches to Granger causality detection assume linear dynamics, many interactions in applied domains, like neuroscience and genomics, are inherently nonlinear. In these cases, using linear models may lead to inconsistent estimation of Granger causal interactions. We propose a class of nonlinear methods by applying structured multilayer perceptrons (MLPs) or recurrent neural networks (RNNs) combined with sparsity-inducing penalties on the weights. By encouraging specific sets of weights to be zero---in particular through the use of convex group-lasso penalties---we can extract the Granger causal structure. To further contrast with traditional approaches, our framework naturally enables us to efficiently capture long-range dependencies between series either via our RNNs or through an automatic lag selection in the MLP. We show that our neural Granger causality methods outperform state-of-the-art nonlinear Granger causality methods on the DREAM3 challenge data. This data consists of nonlinear gene expression and regulation time courses with only a limited number of time points. The successes we show in this challenging dataset provide a powerful example of how deep learning can be useful in cases that go beyond prediction on large datasets. We likewise demonstrate our methods in detecting nonlinear interactions in a human motion capture dataset.

研究动机与目标

• 解决经典线性格兰杰因果在建模神经科学和基因组学中常见的固有非线性相互作用方面的局限性。
• 开发一种可扩展的、可微分的框架，以捕捉时间序列中的非线性依赖关系和长程时间动态。
• 通过凸惩罚方法对模型权重施加稀疏性，实现可解释的因果结构发现。
• 在传统方法失效的小样本、高维时间序列数据（如基因调控网络）中证明方法的有效性。
• 将深度学习从预测任务扩展到复杂动力系统中的因果推断。

提出的方法

• 应用结构化多层感知机（MLPs）来建模具有可学习滞后结构的时间序列中的非线性自回归依赖关系。
• 使用循环神经网络（RNNs）显式建模时间序列间的长程时间依赖关系。
• 在网络权重上引入凸组套索惩罚，以诱导稀疏性并识别显著的因果连接。
• 通过端到端反向传播训练模型，同时借助因果路径中的稀疏性保持可解释性。
• 通过结构化权重共享实现在MLPs中的自动滞后选择，以减少过拟合并提高泛化能力。
• 将因果发现任务表述为一个可微分优化问题，以平衡预测准确率与稀疏性。

实验结果

研究问题

• RQ1 具有结构化稀疏性的深度学习模型是否能有效识别在观测有限的时间序列中的非线性格兰杰因果关系？
• RQ2 在捕捉非线性时间序列中的长程依赖关系方面，RNNs与带组套索惩罚的MLPs相比表现如何？
• RQ3 所提出的方法在真实世界生物时间序列上相较于现有非线性格兰杰因果方法的优越程度如何？
• RQ4 该框架是否能在高维、小样本数据集（如基因表达时间序列）中检测到有意义的因果交互？
• RQ5 与密集模型相比，使用稀疏性诱导惩罚是否能带来更可解释且更准确的因果网络推断？

主要发现

• 所提出的神经格兰杰因果方法在DREAM3挑战数据集上优于最先进非线性方法，该数据集包含非线性基因表达与调控时间序列。
• 该框架即使在时间点数量有限的情况下，也能成功捕捉时间序列中的非线性和长程依赖关系。
• 稀疏性诱导的组套索惩罚能有效识别相关因果连接，提升模型可解释性。
• 该方法在人体动作捕捉数据集上也表现出色，证明了其在基因组学之外的泛化能力。
• 使用结构化深度学习与可微分稀疏性的结合，实现了高预测准确率与有意义的因果结构发现。