[论文解读] Signal Processing on Graphs: Modeling (Causal) Relations in Big Data

Jonathan Mei, José M. F. Moura|arXiv (Cornell University)|Feb 28, 2015

Complex Network Analysis Techniques参考文献 18被引用 9

一句话总结

本文提出了一种计算高效的算法，用于从大规模时间序列数据中推断有向加权图，建模因果关系而非仅相关关系。该方法在合成数据中估计的邻接矩阵与真实结构高度吻合，在真实数据集中与物理知识一致，优于现有的基于相关性的方法。

ABSTRACT

Many big data applications collect a large number of time series, for example, the financial data of companies quoted in a stock exchange, the health care data of all patients that visit the emergency room of a hospital, or the temperature sequences continuously measured by weather stations across the US. A first task in the analytics of these data is to derive a low dimensional representation, a graph or discrete manifold, that describes well the interrelations among the time series and their intrarelations across time. This paper presents a computationally tractable algorithm for estimating this graph structure from the available data. This graph is directed and weighted, possibly representing causation relations, not just correlations as in most existing approaches in the literature. The algorithm is demonstrated on random graph and real network time series datasets, and its performance is compared to that of related methods. The adjacency matrices estimated with the new method are close to the true graph in the simulated data and consistent with prior physical knowledge in the real dataset tested.

研究动机与目标

• 解决从大规模时间序列数据中提取低维、可解释表示的挑战。
• 建模时间序列之间的因果关系，而不仅仅是相关性，以提升对数据的理解。
• 开发一种计算上可行的方法，用于从高维时间序列数据中估计有向加权图。
• 在合成随机图和真实世界网络时间序列上验证该方法。
• 确保估计的图与真实数据集中已知的物理或结构约束一致。

提出的方法

• 该方法使用计算高效的优化框架，从时间序列数据中估计有向加权邻接矩阵。
• 通过学习捕捉动态依赖关系的图结构，建模时间序列之间的相互关系以及时间内的内部关系。
• 通过偏好反映潜在因果关系的有向边，而非仅统计关联，实现因果建模。
• 采用正则化估计方法，确保推断图结构的稀疏性和稳定性。
• 通过与现有方法在合成和真实世界时间序列数据集上的对比，验证该方法。
• 优化框架支持在大规模时间序列数据上实现可扩展的推断。

实验结果

研究问题

• RQ1 计算高效的算法能否准确地从高维时间序列数据中推断出有向加权图？
• RQ2 与基于相关性的图学习方法相比，所提出的方法是否能更好地捕捉因果关系？
• RQ3 估计的图结构在合成数据中与真实底层图的吻合程度如何？
• RQ4 该方法在真实世界数据集中产生与先验物理或领域知识一致的图的程度如何？
• RQ5 在结构准确性和计算效率方面，该方法相对于现有方法的表现如何？

主要发现

• 在模拟的随机图数据集中，估计的邻接矩阵与真实图结构非常接近。
• 该方法生成的图估计与真实世界时间序列数据中已知的物理关系一致。
• 该算法通过捕捉因果而非仅相关依赖，优于现有的基于相关性的方法。
• 该方法展示了计算上的可行性，支持在大规模时间序列上实现可扩展推断。
• 结果表明，建模因果关系可带来更准确、更具可解释性的复杂系统图表示。
• 该方法在多种数据类型中均表现出一致的性能，包括金融、医疗保健和环境时间序列。