[论文解读] Structure estimation for mixed graphical models in high-dimensional data

Jonas M B Haslbeck, Lourens Waldorp|arXiv (Cornell University)|Oct 19, 2015

Gene expression and cancer classification参考文献 17被引用 54

一句话总结

本文提出了一种新颖的方法，用于在具有混合变量类型（连续型、分类变量、计数型、有序型）的高维数据中估计无向图形模型，通过结合一类新型混合指数族分布与广义协方差矩阵估计，实现无需变量转换的精确且可解释的结构学习。该方法在真实世界自闭症谱系障碍（ASD）数据中优于高斯近似方法，揭示了更细致且更具生物学合理性的关系。

ABSTRACT

Undirected graphical models are a key component in the analysis of complex observational data in a large variety of disciplines. In many of these applications one is interested in estimating the undirected graphical model underlying a distribution over variables with different domains. Despite the pervasive need for such an estimation method, to date there is no such method that models all variables on their proper domain. We close this methodological gap by combining a new class of mixed graphical models with a structure estimation approach based on generalized covariance matrices. We report the performance of our methods using simulations, illustrate the method with a dataset on Autism Spectrum Disorder (ASD) and provide an implementation as an R-package.

研究动机与目标

• 解决在具有混合变量类型（如连续型、分类变量、计数型、有序型）的多变量数据中，对马尔可夫随机场（MRFs）进行系统性估计的缺乏。
• 开发一种结构估计方法，使每个变量在其适当的定义域上建模，避免因数据转换导致的信息损失。
• 提供一种计算高效且可解释的方法，用于高维混合图形模型，适用于心理学、医学和社会科学等跨学科领域。
• 展示该方法在真实世界数据中相对于高斯近似的优越性，特别是在捕捉复杂条件独立结构方面。

提出的方法

• 将一类新型混合指数族分布（Yang et al., 2014）与广义协方差矩阵估计相结合，联合建模混合变量类型。
• 采用带ℓ₁-正则化（Lasso）的惩罚似然方法，估计稀疏的逆广义协方差矩阵，以实现结构学习。
• 通过ℓ₁-正则化回归进行节点回归，独立估计每个节点的邻域，确保计算可扩展性。
• 使用扩展贝叶斯信息准则（EBIC）选择正则化参数，以优化图的稀疏性与模型拟合度。
• 在样本量有限的高维设置中，引入噪声添加策略用于交叉验证，确保λ选择的稳定性。
• 将该方法实现为R包（mgm），并发布于CRAN，以实现广泛可及性与研究可重复性。

实验结果

研究问题

• RQ1 能否为高维数据中具有混合变量类型（连续型、分类变量、计数型、有序型）的统一图形模型估计方法提供支持？
• RQ2 在变量的原始定义域上建模与高斯近似相比，对估计图结构有何影响？
• RQ3 在不同模拟条件下，该方法在边恢复与结构估计准确性方面的表现如何？
• RQ4 在真实世界数据中，该方法与现有方法（如非正态变换、基于copula或基于秩的方法）相比表现如何？
• RQ5 在理解复杂系统（如自闭症谱系障碍（ASD）研究）中，使用混合图形模型具有何种意义？

主要发现

• 在模拟实验中，该方法在高维混合变量类型设置下，边恢复率高于现有方法。
• 该方法检测到的图更密集（密度 = 0.19），而高斯近似方法的图密度为0.13，表明其揭示了更复杂的条件独立结构。
• 在ASD数据集中，混合图形模型显示“社会融合”具有较高的中心性（接近度、度数、介数），表明其在图中为关键节点。
• 该方法识别出高斯近似中缺失的边，如“住房类型”与“诊断公开程度”之间的关联，凸显了变量转换带来的方法偏差。
• 由于交叉验证中引入了噪声，该方法在小样本情形下表现保守，表明其具有鲁棒性，但在极端情况下可能存在低估风险。
• R包 mgm 成功实现了该方法，使该方法在应用研究中得以广泛使用与可重复实现。