[论文解读] Partial correlation graphs and the neighborhood lattice.

Arash A. Amini, Bryon Aragam+1 more|arXiv (Cornell University)|Nov 3, 2017

Bayesian Modeling and Causal Inference被引用 1

一句话总结

本文在希尔伯特空间中引入了偏相关图（PCGs），并利用投影算子证明了邻域回归构成一个格结构——称为邻域格。该格性质显著降低了偏相关性检验的复杂度，在完美性假设下，PCGs能够实现DAG学习中的高效图形计算与样本复杂度降低。

ABSTRACT

We define and study partial correlation graphs (PCGs) with variables in a general Hilbert space and their connections to generalized neighborhood regression, without making any distributional assumptions. Using operator-theoretic arguments, and especially the properties of projection operators on Hilbert spaces, we show that these neighborhood regressions have the algebraic structure of a lattice, which we call a neighborhood lattice. This lattice property significantly reduces the number of conditions one has to check when testing all partial correlation relations among a collection of variables. In addition, we generalize the notion of perfectness in graphical models for a general PCG to this Hilbert space setting, and establish that almost all Gram matrices are perfect. Under this perfectness assumption, we show how these neighborhood lattices may be graphically computed using separation properties of PCGs. We also discuss extensions of these ideas to directed models, which present unique challenges compared to their undirected counterparts. Our results have implications for multivariate statistical learning in general, including structural equation models, subspace clustering, and dimension reduction. For example, we discuss how to compute neighborhood lattices efficiently and furthermore how they can be used to reduce the sample complexity of learning directed acyclic graphs. Our work demonstrates that this abstract viewpoint via projection operators significantly simplifies existing ideas and arguments from the graphical modeling literature, and furthermore can be used to extend these ideas to more general nonparametric settings.

研究动机与目标

• 将偏相关图（PCGs）推广至无分布假设的一般希尔伯特空间中的变量。
• 利用算子理论方法证明邻域回归构成格结构。
• 减少测试变量之间所有偏相关关系所需条件的数量。
• 将图形模型中的完美性概念推广至希尔伯特空间设置，并证明在此设置下几乎所有格矩阵（Gram matrices）都是完美的。
• 展示如何利用邻域格高效计算和学习有向无环图（DAG），并实现样本复杂度降低。

提出的方法

• 使用希尔伯特空间上的投影算子，在非参数设定下定义并分析邻域回归。
• 通过投影算子的代数性质，证明邻域回归集合构成一个格。
• 将格结构应用于将偏相关性检验数量从指数级降低至多项式级复杂度。
• 将完美性概念推广至希尔伯特空间PCGs，并证明在此设置下几乎所有格矩阵都是完美的。
• 利用PCGs的分离性质，在完美性假设下图形化计算邻域格。
• 将框架扩展至有向模型，识别其与无向模型相比的独特挑战，并提出基于格的推理解决方案。

实验结果

研究问题

• RQ1 如何在不假设特定分布的前提下，将偏相关图推广至希尔伯特空间中的变量？
• RQ2 在该一般设定下，邻域回归背后的代数结构是什么？它如何简化偏相关关系的检验？
• RQ3 图形模型中的完美性概念能否推广至希尔伯特空间PCGs？在此背景下，完美格矩阵的出现频率如何？
• RQ4 如何利用邻域回归的格结构高效计算或从数据中学习PCGs？
• RQ5 该格结构对学习有向无环图（DAG）有何影响，特别是在降低样本复杂度方面？

主要发现

• 希尔伯特空间中的邻域回归构成格结构，显著减少了所需的偏相关性检验数量。
• 格性质使得在完美性条件成立时，可利用分离性质高效计算PCGs。
• 在希尔伯特空间设置下，几乎所有格矩阵都是完美的，意味着完美性假设具有普遍性且广泛适用。
• 通过利用格结构，该框架可实现DAG学习中的样本复杂度降低。
• 投影算子的使用提供了一个统一且抽象的框架，简化并推广了图形建模中的现有结果。
• 该方法自然延伸至有向模型，为非参数结构方程建模和降维提供了新途径。