[论文解读] Square Root Graphical Models: Multivariate Generalizations of Univariate Exponential Families that Permit Positive Dependencies

David I. Inouye, Pradeep Ravikumar+1 more|arXiv (Cornell University)|Mar 11, 2016

Bayesian Modeling and Causal Inference参考文献 19被引用 5

一句话总结

本文提出了一种新型多元指数族分布——平方根图模型（SQR），其推广了单变量指数族（如指数分布、泊松分布），同时允许正相关与负相关关系，而以往模型仅限于负相关关系。该方法采用一种具有温和正定性类似条件的参数矩阵，从而能够灵活建模现实世界数据（如机场延误），并在合成与真实数据集中成功捕捉到直观的正相关关系。

ABSTRACT

We develop Square Root Graphical Models (SQR), a novel class of parametric graphical models that provides multivariate generalizations of univariate exponential family distributions. Previous multivariate graphical models [Yang et al. 2015] did not allow positive dependencies for the exponential and Poisson generalizations. However, in many real-world datasets, variables clearly have positive dependencies. For example, the airport delay time in New York---modeled as an exponential distribution---is positively related to the delay time in Boston. With this motivation, we give an example of our model class derived from the univariate exponential distribution that allows for almost arbitrary positive and negative dependencies with only a mild condition on the parameter matrix---a condition akin to the positive definiteness of the Gaussian covariance matrix. Our Poisson generalization allows for both positive and negative dependencies without any constraints on the parameter values. We also develop parameter estimation methods using node-wise regressions with $\ell_1$ regularization and likelihood approximation methods using sampling. Finally, we demonstrate our exponential generalization on a synthetic dataset and a real-world dataset of airport delay times.

研究动机与目标

• 为解决现有多元指数族图模型无法建模正相关关系的局限性，特别是在指数分布和泊松分布中的应用。
• 开发一种通用参数框架，将单变量指数族（如指数分布、泊松分布）扩展至多元设置，且对参数矩阵施加最小约束。
• 实现对非高斯、非离散数据（如延误时间、计数数据、生存时间）的联合建模，支持正相关与负相关关系。
• 提供一种基于概率的、具有原则性的模型，保持全局马尔可夫性质，并支持高效参数估计与似然近似。
• 证明该模型能够在无需人为调整的情况下，从高维非高斯数据中恢复直观的现实世界依赖关系。

提出的方法

• 提出一类新的多元分布，源自具有非负充分统计量的单变量指数族，采用平方根参数化以确保非负性与灵活性。
• 通过参数矩阵 Φ 定义联合密度，该矩阵推广了高斯模型中的协方差矩阵，其温和的正定性类似条件可保证分布的有效性。
• 对于指数分布 SQR 模型，参数矩阵 Φ 允许正负元素，仅受类似于高斯图模型中正定性的条件约束。
• 对于泊松分布 SQR 模型，不对参数值施加任何约束，从而允许任意的正负依赖关系。
• 采用节点级回归结合 ℓ₁ 正则化方法估计图结构，实现在高维设置下具有理论保证的模型恢复。
• 开发基于采样的似然近似方法，以处理指数分布与泊松分布 SQR 模型中难以计算的归一化常数。

实验结果

研究问题

• RQ1 能否构建一种单变量指数族的多元推广，允许正相关与负相关关系，而不同于以往仅限于负相关的模型？
• RQ2 在这样的多元指数族模型中，为确保有效概率分布，对参数矩阵的结构约束应满足何种必要与充分条件？
• RQ3 所提出的模型能否有效捕捉非高斯数据中的真实世界依赖关系，如机场延误时间或词共现模式？
• RQ4 与独立模型或先前受限制的模型相比，SQR 模型在似然值与图结构恢复方面的性能如何？
• RQ5 通过节点级 ℓ₁-正则化回归进行参数估计，是否能在高维设置下可靠地恢复真实的图结构？

主要发现

• 在机场延误数据上，指数分布 SQR 模型相较于独立指数模型在相对似然值上表现显著更优，表明其具备强大的依赖结构建模能力。
• SQR 模型成功捕捉了机场之间的直观正相关关系（如芝加哥与纽约因天气导致的延误），且无需依赖外部地理位置信息。
• 模型仅通过依赖模式即可识别出地理与运营相关性（如 DFW-IAH、西海岸线路），展示了无需特征的鲁棒学习能力。
• 泊松分布 SQR 模型无需参数约束即可实现任意正负依赖关系，而以往模型需引入超参数或修改基础分布。
• 在合成环形链图中，SQR 配合节点级 ℓ₁-正则化回归实现了高精度边恢复，即使在较大 k 值下，只要样本量足够，仍能准确恢复边结构。
• SQR 框架为非高斯数据提供了有效且完整的概率模型，克服了以往模型仅限于负相关或需人为调整的局限性。