[论文解读] On Graphical Models via Univariate Exponential Family Distributions

Eunho Yang, Pradeep Ravikumar+2 more|arXiv (Cornell University)|Jan 17, 2013

Bayesian Methods and Mixture Models参考文献 44被引用 65

一句话总结

该论文提出了一类广义的无向图模型——指数族马尔可夫随机场（exponential family Markov random fields），其中节点条件分布来自单变量指数族（如泊松分布、指数分布），从而能够灵活建模非高斯数据。该研究引入了带有 $\hat{\lambda}$-正则化的 M-估计器，并在稀疏性和次高斯设计假设下，证明了在高概率下可精确恢复真实的图结构。

ABSTRACT

Undirected graphical models, or Markov networks, are a popular class of statistical models, used in a wide variety of applications. Popular instances of this class include Gaussian graphical models and Ising models. In many settings, however, it might not be clear which subclass of graphical models to use, particularly for non-Gaussian and non-categorical data. In this paper, we consider a general sub-class of graphical models where the node-wise conditional distributions arise from exponential families. This allows us to derive multivariate graphical model distributions from univariate exponential family distributions, such as the Poisson, negative binomial, and exponential distributions. Our key contributions include a class of M-estimators to fit these graphical model distributions; and rigorous statistical analysis showing that these M-estimators recover the true graphical model structure exactly, with high probability. We provide examples of genomic and proteomic networks learned via instances of our class of graphical models derived from Poisson and exponential distributions.

研究动机与目标

• 为解决缺乏针对计数数据或偏态连续变量等非高斯、非分类数据的系统性、灵活的图模型问题。
• 通过从单变量指数族条件分布推导多变量分布，扩展现有的伊辛模型和高斯图模型。
• 提出一种通用框架，通过指数族分布进行节点条件估计，实现图模型的拟合。
• 在高维设置下，为使用 $\lambda$-正则化 M-估计器的结构恢复建立严格的统计保证。
• 为泊松和指数图模型提供具体的优化公式，并施加适当的参数约束。

提出的方法

• 提出一类基于单变量指数族节点条件分布的多变量图模型，利用 Hammersley-Clifford 定理确保全局马尔可夫性质。
• 通过 $\lambda$-惩罚对数似然最大化实现邻域选择，以估计给定其他所有节点时每个节点的稀疏条件依赖关系。
• 对参数施加领域特定约束：泊松模型中为非正权重，指数模型中为非负权重，以确保 MRF 的有效性。
• 采用投影梯度下降求解具有线性约束的凹优化问题，保证全局收敛性。
• 应用中值定理与集中不等式，界定估计误差并推导出高概率恢复保证。
• 在次高斯设计假设和对数配分函数三阶光滑性的前提下，推导估计误差的理论界。

实验结果

研究问题

• RQ1 我们能否从单变量指数族分布构建一类广义的多变量图模型，以建模非高斯数据？
• RQ2 如何确保所得 MRF 是有效的，并根据图结构进行因子分解？
• RQ3 何种优化策略可实现具有理论保证的稀疏高维结构学习？
• RQ4 在何种条件下，可高概率地精确恢复真实图结构？
• RQ5 参数约束（如泊松模型中要求非正权重）如何影响模型有效性与估计结果？

主要发现

• 所提出的指数族 MRF 框架将伊辛模型和高斯模型推广至泊松、指数及其他非高斯分布。
• 基于 $\lambda$-正则化邻域选择的 M-估计器，在稀疏性和次高斯设计假设下，能以高概率精确恢复真实图结构。
• 对于泊松图模型，方法要求边权重为非正；对于指数模型，要求权重为非负，从而确保 MRF 的有效性。
• 理论分析表明，在适当的正则性条件下，估计误差以高概率被限制在 $O(\kappa_3(n,p) \rho_{\text{max}} \log p' / n)$ 以内。
• 优化问题为凹函数，具有光滑似然函数与线性约束，可通过投影梯度下降求解，保证全局收敛。
• 在基因组和蛋白质组网络上的实证验证表明，该方法在从计数数据和正连续数据中学习稀疏、可解释网络方面具有实用性。