[论文解读] Targeted Fused Ridge Estimation of Inverse Covariance Matrices from Multiple High-Dimensional Data Classes

Anders Ellern Bilgrau, Carel F.W. Peeters+3 more|arXiv (Cornell University)|Sep 26, 2015

Sparse and Compressive Sensing Techniques参考文献 48被引用 14

一句话总结

本文提出了一种面向高维设定下不同数据类别中多个精度矩阵联合估计的定向融合岭估计器。通过结合$μat$-惩罚最大似然法与类别特异性目标矩阵及融合惩罚，该方法实现了结构化估计，在跨类别间借用信息的同时允许特定条目存在差异性结构，从而在图模型应用中提升了稳定性和可解释性。

ABSTRACT

We consider the problem of jointly estimating multiple inverse covariance matrices from high-dimensional data consisting of distinct classes. An $\ell_2$-penalized maximum likelihood approach is employed. The suggested approach is flexible and generic, incorporating several other $\ell_2$-penalized estimators as special cases. In addition, the approach allows specification of target matrices through which prior knowledge may be incorporated and which can stabilize the estimation procedure in high-dimensional settings. The result is a targeted fused ridge estimator that is of use when the precision matrices of the constituent classes are believed to chiefly share the same structure while potentially differing in a number of locations of interest. It has many applications in (multi)factorial study designs. We focus on the graphical interpretation of precision matrices with the proposed estimator then serving as a basis for integrative or meta-analytic Gaussian graphical modeling. Situations are considered in which the classes are defined by data sets and subtypes of diseases. The performance of the proposed estimator in the graphical modeling setting is assessed through extensive simulation experiments. Its practical usability is illustrated by the differential network modeling of 12 large-scale gene expression data sets of diffuse large B-cell lymphoma subtypes. The estimator and its related procedures are incorporated into the R-package rags2ridges.

研究动机与目标

• 解决在高维数据类别中$p > n$时估计多个精度矩阵的挑战。
• 通过用户指定的目标矩阵形式化引入先验知识，以在高维设定下稳定估计。
• 通过允许类别间共享结构同时检测特定条目中的类别特异性差异，实现差异性网络建模。
• 开发一种灵活、通用的框架，推广现有$μat$-惩罚估计器并支持结构元分析。
• 通过具有保证估计矩阵正定性的迭代算法，提供计算上可行的解决方案。

提出的方法

• 采用$μat$-惩罚最大似然方法，估计$G$个类别的多个精度矩阵${\bm{\Omega}}_g$。
• 通过惩罚矩阵$\bm{\Lambda}$引入融合岭惩罚，以促进不同类别间精度矩阵的相似性。
• 通过类别特异性目标矩阵$\bm{T}_g$纳入先验知识，提升估计稳定性。
• 推导优化问题的零梯度条件，导出固定点迭代算法（算法1）用于估计。
• 通过理论保证和算法设计，确保估计精度矩阵的正定性。
• 采用广义融合岭框架，其中岭估计、融合Lasso和非融合估计器均为其特例。

实验结果

研究问题

• RQ1 在高维设定下，$p > n$，如何联合估计多个类别中的逆协方差矩阵？
• RQ2 如何正式地将关于精度矩阵结构的先验知识整合到估计过程中？
• RQ3 如何在多个数据类别中同时估计精度矩阵的共享结构与类别特异性结构？
• RQ4 融合岭惩罚参数的变化对精度矩阵及其差异估计的影响是什么？
• RQ5 与现有方法相比，所提出的定向融合岭估计器在高维设定下的估计准确性和稳定性如何？

主要发现

• 在较弱正则性条件下，定向融合岭估计器可确保估计精度矩阵的正定性，即使在$p > n$时亦然。
• 当惩罚参数$\lambda_{gg} \to \infty$时，估计值$\hat{\bm{\Omega}}_g$收敛至目标矩阵$\bm{T}_g$，表明该方法能够有效施加先验知识。
• 当融合惩罚$\lambda_{g_1g_2} \to \infty$时，估计值$\hat{\bm{\Omega}}_{g_1}$与$\hat{\bm{\Omega}}_{g_2}$相互收敛，表明类别间信息实现了强聚合。
• 该方法可推广现有估计器（如岭估计、融合Lasso和非融合估计器），具体取决于惩罚和目标矩阵的选择。
• 模拟研究显示，与标准方法相比，该方法在高维设定下具有更高的估计准确性和稳定性。
• 在弥漫性大B细胞淋巴瘤亚型的12个基因表达数据集的真实世界应用中，该方法成功识别出具有生物学意义结构的差异性网络。