[论文解读] On perfectness in Gaussian graphical models

Arash A. Amini, Bryon Aragam+1 more|arXiv (Cornell University)|Sep 3, 2019

Bayesian Modeling and Causal Inference参考文献 13被引用 4

一句话总结

本文通過直接、透明的高斯圖模型（GGM）參數化，證明了幾乎所有此類模型均為完美模型，即概率分布中的條件獨立性與圖上的分離性完全對應。透過擴展Lnička與Matúš的構造方法，作者建立了GGM的強完全性，並對非完美協方差矩陣的零測集進行了特徵描述，從而提供了一套構造性框架，可用於在圖約束下對正定矩陣進行蒙特卡洛抽樣。

ABSTRACT

Knowing when a graphical model is perfect to a distribution is essential in order to relate separation in the graph to conditional independence in the distribution, and this is particularly important when performing inference from data. When the model is perfect, there is a one-to-one correspondence between conditional independence statements in the distribution and separation statements in the graph. Previous work has shown that almost all models based on linear directed acyclic graphs as well as Gaussian chain graphs are perfect, the latter of which subsumes Gaussian graphical models (i.e., the undirected Gaussian models) as a special case. However, the complexity of chain graph models leads to a proof of this result which is indirect and mired by the complications of parameterizing this general class. In this paper, we directly approach the problem of perfectness for the Gaussian graphical models, and provide a new proof, via a more transparent parametrization, that almost all such models are perfect. Our approach is based on, and substantially extends, a construction of Lněnička and Matúš showing the existence of a perfect Gaussian distribution for any graph.

研究动机与目标

• 建立幾乎所有高斯圖模型（GGM）均為完美模型，即概率分布中的條件獨立性與圖上的分離性完全對應。
• 與鏈圖模型中使用的間接方法相比，提供更透明、直接的GGM參數化。
• 將非完美協方差矩陣的集合特徵描述為零測集，從而揭示GGM中完美性的普遍性。
• 構造一個定義在圖的邊集上的逆協方差矩陣上的機率測度，有利於蒙特卡洛抽樣。

提出的方法

• 擴展Lnička與Matúš的構造方法，以完全參數化GGM-馬爾可夫高斯分布的集合。
• 引入一種新參數化方法，使用正定矩陣與邊相關參數，以確保馬爾可夫相容性。
• 利用基於排列的環分解方法分析協方差矩陣的結構，並識別完美性失效的條件。
• 應用測度論論證，證明非完美分佈的集合具有勒貝格測度零，從而表明幾乎所有GGM均為完美模型。
• 採用微分同胚變換以保持零測集，並證明推前測度的絕對連續性。
• 推導出一個定義在逆協方差矩陣上的機率測度，其支撐受限於圖的邊集，從而可用於MCMC算法中的建議分佈。

实验结果

研究问题

• RQ1 幾乎所有高斯圖模型是否都是完美的，即概率分布中的條件獨立性是否與圖上的分離性完全對應？
• RQ2 能否構造出一種直接且透明的GGM參數化方法，以簡化相較於間接鏈圖方法的完美性證明？
• RQ3 GGM中非完美協方差矩陣的集合具有何種結構？能否將其特徵描述為零測集？
• RQ4 能否構造一個定義在逆協方差矩陣上的機率測度，使其尊重圖的邊結構，以利於模擬應用？

主要发现

• 幾乎所有高斯圖模型均為完美模型，即概率分布中的條件獨立性與圖上的分離性存在一一對應關係。
• 非完美協方差矩陣的集合構成一個勒貝格零測集，確認了GGM中完美性的普遍性。
• 發展了一種新穎的、直接的GGM-馬爾可夫分佈參數化方法，延續了Lnička與Matúš的工作。
• 本文構造了一個定義在逆協方差矩陣上的機率測度，其支撐受限於圖的邊集，從而可用於蒙特卡洛方法中的建議分佈。
• 證明技術提供了非完美分佈零測集的構造性描述，增強了對建模與估計的直覺理解。
• 測度論論證確認，勒貝格測度在參數化映射下的推前測度是絕對連續的，從而確保了完美性的普遍性。