[论文解读] Network-based clustering with mixtures of L1-penalized Gaussian graphical models: an empirical investigation

Steven M. Hill, Sach Mukherjee|arXiv (Cornell University)|Jan 10, 2013

Bioinformatics and Genomic Networks被引用 6

一句话总结

本文提出一种混合模型，结合ℓ₁-惩罚高斯图形模型，以在高维数据中同时识别聚类并估计聚类特异性网络结构。该方法采用具有聚类特异性惩罚的EM算法，在模拟数据和真实数据中均表现出稳健性能，尤其在惩罚公式中使用γ = 1时，聚类准确率和网络恢复效果更优。

ABSTRACT

In many applications, multivariate samples may harbor previously unrecognized heterogeneity at the level of conditional independence or network structure. For example, in cancer biology, disease subtypes may differ with respect to subtype-specific interplay between molecular components. Then, both subtype discovery and estimation of subtype-specific networks present important and related challenges. To enable such analyses, we put forward a mixture model whose components are sparse Gaussian graphical models. This brings together model-based clustering and graphical modeling to permit simultaneous estimation of cluster assignments and cluster-specific networks. We carry out estimation within an L1-penalized framework, and investigate several specific penalization regimes. We present empirical results on simulated data and provide general recommendations for the formulation and use of mixtures of L1-penalized Gaussian graphical models.

研究动机与目标

• 解决在高维多变量数据中检测隐藏异质性的问题，其中不同亚型在条件独立结构上存在差异。
• 开发一种基于模型的聚类框架，同时估计聚类分配与聚类特异性图形模型。
• 研究不同ℓ₁-惩罚制度对聚类与网络估计性能的影响。
• 为具有稀疏高斯图形模型的混合模型提供调参与惩罚公式设置的实际建议。
• 展示该方法在小样本或聚类不平衡场景下的鲁棒性，此类情况下标准聚类方法可能因网络估计不佳而失效。

提出的方法

• 提出一个有限混合模型，其中每个分量均为通过ℓ₁-惩罚最大似然估计的稀疏高斯图形模型。
• 使用EM算法迭代估计聚类分配与在ℓ₁正则化下的精度矩阵。
• 对每个聚类应用与混合比例（πₖ）倒数成比例的特异性惩罚，从而在小聚类中增加正则化强度。
• 采用图形lasso算法（Friedman et al., 2008）以高效估计具有稀疏性的精度矩阵。
• 考虑多种惩罚公式，包括在惩罚项中使用γ = 1（即γ·||Ωₖ||₁），该设置在模拟实验中表现更优。
• 将该方法推广至一般K-聚类设置，并支持通过信息准则、交叉验证或训练/测试划分进行模型选择。

实验结果

研究问题

• RQ1 ℓ₁-惩罚如何影响异质高维数据中聚类分配准确率与网络结构恢复效果？
• RQ2 在稀疏高斯图形模型的混合模型中，聚类特异性惩罚的最优公式是什么？
• RQ3 惩罚项中调参γ的选择如何影响聚类与网络估计性能？
• RQ4 具有ℓ₁-正则化分量的混合模型是否能优于非混合模型或对角协方差模型，以检测具有生物学意义的亚型？
• RQ5 该方法对聚类大小不平衡及少数聚类中有效样本量低的情况有多敏感？

主要发现

• 在惩罚项中使用γ = 1（即γ·||Ωₖ||₁）的混合模型在模拟数据与真实数据中均持续优于其他惩罚公式，实现了更高的聚类分配准确率与更优的网络恢复效果。
• 与混合比例πₖ成反比的聚类特异性惩罚显著提升了鲁棒性，尤其在聚类不平衡场景下，通过减少小聚类中的过拟合现象。
• 即使在p = 25个变量的情况下，ℓ₁-惩罚仍是实现稳定且稀疏精度矩阵估计的必要条件，表明其在中高维情形下的必要性。
• 在模拟实验中，该方法即使在事先未知真实聚类标签的情况下，也能成功恢复真实的聚类标签与网络结构。
• 当惩罚设置不佳时，EM算法在错误聚类下仍能收敛至更高的惩罚似然值，表明该方法对惩罚公式的敏感性。
• 该方法可扩展至K > 2个聚类，并支持标准模型选择技术以确定最优聚类数。