[论文解读] Signal Processing on Graphs: Causal Modeling of Big Data

Jonathan Mei, José M. F. Moura|arXiv (Cornell University)|Feb 28, 2015

Complex Network Analysis Techniques参考文献 35被引用 6

一句话总结

本文提出了一种计算高效的算法，用于从多变量时间序列数据中推断有向加权图，建模因果关系而非简单的相关性。该方法在模拟数据和真实世界数据集中能够准确重建潜在的网络结构，并与已知的物理或结构关系保持强一致性。

ABSTRACT

Often, Big Data applications collect a large number of time series, for example, the financial data of companies quoted in a stock exchange, the health care data of all patients that visit the emergency room of a hospital, or the temperature sequences continuously measured by weather stations across the US. A first task in the analytics of these data is to derive a low dimensional representation, a graph or discrete manifold, that describes well the interrelations among the time series and their intrarelations across time. This paper presents a computationally tractable algorithm for estimating this graph structure from the available data. This graph is directed and weighted, possibly representing causal relations, not just reciprocal correlations as in many existing approaches in the literature. A detailed convergence analysis is carried out. The algorithm is demonstrated on random graph and real network time series datasets, and its performance is compared to that of related methods. The adjacency matrices estimated with the new method are close to the true graph in the simulated data and consistent with prior physical knowledge in the real dataset tested.

研究动机与目标

• 解决从大规模多变量时间序列数据中提取低维、可解释表示的挑战。
• 建模时间序列之间的因果关系，超越传统方法中发现的对称相关性。
• 开发一种计算上可行的算法，用于从观测数据中估计有向加权图。
• 在现实条件下确保图估计过程的理论收敛性。
• 在合成数据和真实世界数据集上验证该方法，证明其与已知物理或结构知识的一致性。

提出的方法

• 该方法使用正则化优化框架，从时间序列数据中估计有向加权邻接矩阵。
• 它将图学习问题表述为一个凸优化任务，以促进稀疏性并捕捉方向性依赖关系。
• 通过使用滞后依赖关系对时间点之间的相互关系进行建模，将时间动态纳入算法中。
• 进行了收敛性分析，以建立估计图结构的理论一致性保证。
• 该方法采用数据驱动的方式推断因果性，避免对关系对称性的假设。
• 其设计具有可扩展性和高效性，适用于大规模大数据应用。

实验结果

研究问题

• RQ1 我们能否从多变量时间序列中学习到一个有向加权图结构，以捕捉因果关系而非仅仅相关性？
• RQ2 在具有已知结构的合成数据中，所提出的算法在多大程度上能够重建真实的底层图？
• RQ3 在真实世界数据集中，估计的图结构是否与先前的物理或领域特定知识保持一致？
• RQ4 在现实数据假设下，图估计算法的理论收敛特性如何？
• RQ5 与现有建模对称或无向关系的方法相比，该方法在性能上表现如何？

主要发现

• 在模拟的随机图数据集中，估计的邻接矩阵与真实底层图结构非常接近。
• 该方法在真实世界时间序列数据中一致地恢复了已知的结构模式，与先前的物理或领域知识一致。
• 该算法表现出强大的计算可处理性，能够在大规模数据集上实现高效推断。
• 收敛性分析证实了在模型假设下估计图的理论一致性。
• 与相关方法的性能比较显示，在合成数据和真实数据实验中，该方法在准确性和结构保真度方面均有提升。