[论文解读] Simultaneous Clustering and Estimation of Heterogeneous Graphical Models

Botao Hao, Will Wei Sun+2 more|arXiv (Cornell University)|Nov 28, 2016

Statistical Methods and Inference参考文献 44被引用 60

一句话总结

该论文提出SCAN，一种新颖的方法，用于在高维设置下同时进行聚类和异质图模型估计。它采用高维ECM算法，并施加联合图Lasso惩罚，迭代学习聚类结构和精度矩阵，实现理论上的非渐近误差界，平衡统计误差与优化误差，在胶质母细胞瘤数据上表现出强劲的实证性能。

ABSTRACT

We consider joint estimation of multiple graphical models arising from heterogeneous and high-dimensional observations. Unlike most previous approaches which assume that the cluster structure is given in advance, an appealing feature of our method is to learn cluster structure while estimating heterogeneous graphical models. This is achieved via a high dimensional version of Expectation Conditional Maximization (ECM) algorithm (Meng and Rubin, 1993). A joint graphical lasso penalty is imposed on the conditional maximization step to extract both homogeneity and heterogeneity components across all clusters. Our algorithm is computationally efficient due to fast sparse learning routines and can be implemented without unsupervised learning knowledge. The superior performance of our method is demonstrated by extensive experiments and its application to a Glioblastoma cancer dataset reveals some new insights in understanding the Glioblastoma cancer. In theory, a non-asymptotic error bound is established for the output directly from our high dimensional ECM algorithm, and it consists of two quantities: statistical error (statistical accuracy) and optimization error (computational complexity). Such a result gives a theoretical guideline in terminating our ECM iterations.

研究动机与目标

• 开发一种联合估计异质图模型并推断聚类结构的方法，而无需已知类别标签。
• 解决现有方法在高维异质数据中假设已知聚类成员关系的局限性。
• 为大规模数据应用中的联合聚类与图模型学习，提供计算高效、用户友好的框架。
• 建立非渐近误差界，通过平衡统计误差与优化误差，指导算法终止。

提出的方法

• 采用高维期望条件最大化（ECM）算法，迭代估计缺失的聚类标签并更新精度矩阵。
• 在条件最大化步骤中施加联合图Lasso惩罚，以促进聚类间的同质性与聚类内的异质性。
• 在CM步骤中使用快速稀疏学习方法，确保计算效率与可扩展性。
• 将聚类成员关系视为隐变量，实现聚类结构与图模型参数的同步学习。
• 采用非凸惩罚结构，分解为组分与个体分量，以促进稀疏性与聚类特异性结构。
• 推导结合统计误差与优化误差的理论误差界，并基于误差分量收敛性提供算法终止指导。

实验结果

研究问题

• RQ1 是否存在一个统一框架，能够同时在高维数据中学习聚类结构并估计异质图模型？
• RQ2 在缺乏类别成员关系先验知识的高维设置下，如何推断聚类结构？
• RQ3 此类联合估计过程的收敛性与准确性可提供何种理论保证？
• RQ4 联合使用图Lasso惩罚如何提升估计性能，相较于分别进行聚类与图模型学习？
• RQ5 在统计精度与计算成本之间权衡下，ECM算法的最优停止准则是什么？

主要发现

• SCAN方法在胶质母细胞瘤（GBM）癌症数据集上的聚类准确率显著优于基线方法，展现出在真实世界应用中的优越性能。
• 理论分析建立了非渐近误差界，其分解为统计误差与优化误差两部分，为ECM算法提供了合理的终止规则。
• 通过组图Lasso惩罚联合建模聚类间的共性与个性结构，该方法实现了更高的估计精度。
• 实证结果揭示了GBM亚型中基因调控网络的新生物学见解，凸显了共享与独特的调控模式。
• 该算法计算高效，且无需掌握无监督学习专业知识，使应用研究人员易于使用。
• 收敛性分析表明，该算法在有界误差范围内收敛，且该误差界依赖于惩罚调参与数据结构。