[论文解读] Robust Graphical Modeling with t-Distributions

Michael Finegold, Mathias Drton|arXiv (Cornell University)|Aug 9, 2014

Bayesian Modeling and Causal Inference参考文献 6被引用 5

一句话总结

本文提出使用多元t分布的稳健图模型方法，以提升高维数据中的推断能力，尤其适用于存在异常值的情况。该方法结合惩罚似然估计与EM算法，实现高效的结构学习，在具有重尾和污染观测值的真实基因表达数据中，表现优于高斯图模型。

ABSTRACT

Graphical Gaussian models have proven to be useful tools for exploring network structures based on multivariate data. Applications to studies of gene expression have generated substantial interest in these models, and resulting recent progress includes the development of fitting methodology involving penalization of the likelihood function. In this paper we advocate the use of the multivariate t and related distributions for more robust inference of graphs. In particular, we demonstrate that penalized likelihood inference combined with an application of the EM algorithm provides a simple and computationally efficient approach to model selection in the t-distribution case.

研究动机与目标

• 解决高维设置下高斯图模型对异常值和重尾数据的敏感性问题。
• 提出一种基于多元t分布的高斯图模型稳健替代方法。
• 通过惩罚似然估计与EM算法，实现在t分布图模型中的高效模型选择。
• 在正常性假设常被违反的基因表达数据中，提升网络结构推断的准确性。
• 为非高斯、重尾数据提供一种计算上可行的稳健图建模方法。

提出的方法

• 采用多元t分布作为图模型的底层分布，其对异常值的鲁棒性优于高斯分布。
• 提出一种惩罚似然方法用于结构学习，将t分布的自由度作为鲁棒性参数。
• 实现EM算法以处理t分布固有的潜变量结构，从而实现似然函数的高效计算。
• 利用EM算法迭代估计均值、协方差矩阵和自由度，同时对精度矩阵施加诱导稀疏性的惩罚。
• 对逆尺度矩阵应用类似图lasso的惩罚，以促进稀疏图结构的形成。
• 在EM框架内采用坐标上升法优化惩罚对数似然，确保稳定收敛。

实验结果

研究问题

• RQ1 在存在重尾或污染数据的情况下，多元t分布是否能提供比高斯分布更稳健的图模型推断？
• RQ2 如何将惩罚似然估计适配于t分布图模型，以确保稀疏性与计算效率？
• RQ3 EM算法在具有潜变量的t分布图模型中，能在多大程度上改善参数估计？
• RQ4 在真实基因表达数据中，该方法与高斯图模型相比，在结构恢复准确性方面表现如何？
• RQ5 t分布中的自由度参数对模型鲁棒性及网络结构估计有何影响？

主要发现

• 所提出的基于t分布的图模型在重尾和污染数据条件下，优于高斯图模型，能更准确地恢复真实网络结构。
• 惩罚似然与EM算法的结合，即使在高维数据中，也能实现稳定且高效的参数估计。
• 该方法在真实基因表达数据集中成功识别出有意义的基因调控网络，而高斯模型因异常值而失效。
• t分布中的自由度参数起到鲁棒性控制作用，自由度越低，对重尾的容忍度越高。
• 实证结果表明，与高斯模型相比，基于t分布的模型在网络恢复中具有更高的真正例率和更低的假发现率。
• 计算复杂度保持在可管理范围内，使该方法可扩展至中等到高维的生物数据集。