[论文解读] Robust Gaussian Graphical Modeling with the Trimmed Graphical Lasso

Eunho Yang, Aurélie Lozano|arXiv (Cornell University)|Oct 28, 2015

Statistical Methods and Inference参考文献 27被引用 15

一句话总结

本文提出了一种名为剪裁图行回归（Trimmed Graphical Lasso）的方法，用于在存在异常值的高维设置下稳健估计稀疏高斯图模型。通过在带ℓ₁正则化的加权负对数似然中隐式剪裁最不可靠的观测值，该方法实现了具有强理论保证的一致性估计，在模拟数据和真实的酿酒酵母基因表达数据中优于现有稳健方法。

ABSTRACT

Gaussian Graphical Models (GGMs) are popular tools for studying network structures. However, many modern applications such as gene network discovery and social interactions analysis often involve high-dimensional noisy data with outliers or heavier tails than the Gaussian distribution. In this paper, we propose the Trimmed Graphical Lasso for robust estimation of sparse GGMs. Our method guards against outliers by an implicit trimming mechanism akin to the popular Least Trimmed Squares method used for linear regression. We provide a rigorous statistical analysis of our estimator in the high-dimensional setting. In contrast, existing approaches for robust sparse GGMs estimation lack statistical guarantees. Our theoretical results are complemented by experiments on simulated and real gene expression data which further demonstrate the value of our approach.

研究动机与目标

• 解决现有稳健稀疏高斯图模型在高维、异常值污染数据下的统计不一致性问题。
• 开发一种稳健估计方法，在保持稀疏性的同时抵御重尾或受损观测值的影响。
• 为高维设置下的稳健图模型估计器提供严格的理论一致性结果。
• 在基因表达分析等真实应用场景中提升网络恢复的准确性，此类场景中数据污染较为常见。

提出的方法

• 该方法将高斯图模型的加权负对数似然公式化，其中权重通过学习机制隐式剪裁最异常的观测值。
• 提出一种剪裁损失函数，通过降低对负对数似然贡献最大的观测值权重来实现，灵感源自回归中的最小剪裁平方法。
• 通过两阶段策略求解优化问题：在精度矩阵上使用坐标下降，并通过迭代重加权识别并降低异常值的权重。
• 采用带有部分优化的高效复合梯度下降方法，以提升计算可扩展性。
• 通过在精度矩阵上施加ℓ₁正则化来强制实现稀疏性，确保网络结构的稀疏性。
• 理论分析在高维渐近下建立了估计器的一致性，这是对先前工作的关键推进。

实验结果

研究问题

• RQ1 能否开发一种稳健的图模型估计器，使其在存在异常值的高维设置下保持统计一致性？
• RQ2 与标准图行回归相比，隐式剪裁观测值在数据污染下如何提升估计精度？
• RQ3 不同剪裁比例对模型性能和计算效率有何影响？
• RQ4 在模拟和真实数据中，该方法在恢复真实网络结构方面与现有稳健方法相比表现如何？

主要发现

• 在酿酒酵母基因表达网络上，剪裁图行回归的F₁得分最高（0.41），优于glasso（0.23）、t*-lasso（0.37）和robust-LL（0.39）。
• 当h/n = 80%时，该方法在所有特异性水平下均表现出更优的敏感性，尤其在高污染场景（M2、M4、M5）中表现突出。
• 该方法计算效率高，glasso平均运行时间为1.04秒，剪裁lasso为1.58秒，优于t-lasso（22.14秒）和robust-LL（11.06秒）。
• 理论分析首次为高维设置下的稳健稀疏GGM估计器提供了统计一致性保证。
• 在模拟实验中，该方法在各种污染模型下（包括重尾和异常值易发数据）均能一致地恢复真实网络结构。
• 该方法识别出CDC6和PDS1等具有生物学意义的关键节点，与已知的KEGG通路知识一致。