[论文解读] Structure Learning of Gaussian Markov Random Fields with False Discovery Rate Control

Sangkyun Lee, Piotr Sobczyk+1 more|arXiv (Cornell University)|Oct 24, 2019

Bayesian Modeling and Causal Inference参考文献 34被引用 3

一句话总结

该论文提出nsSLOPE，一种新颖的方法，用于使用排序L1-范数（SL1）正则化来学习高斯马尔可夫随机场（GMRFs）的结构，以控制边检测中的假发现率（FDR）。通过将SLOPE方法适配至邻域选择，该方法在严格控制在期望水平的FDR的同时，显著提高了识别真实条件依赖关系的统计功效，在高维设置（p ≫ n）下，其FDR控制和检测功效均优于传统gLASSO。

ABSTRACT

In this paper, we propose a new estimation procedure for discovering the structure of Gaussian Markov random fields (MRFs) with false discovery rate (FDR) control, making use of the sorted l1-norm (SL1) regularization. A Gaussian MRF is an acyclic graph representing a multivariate Gaussian distribution, where nodes are random variables and edges represent the conditional dependence between the connected nodes. Since it is possible to learn the edge structure of Gaussian MRFs directly from data, Gaussian MRFs provide an excellent way to understand complex data by revealing the dependence structure among many inputs features, such as genes, sensors, users, documents, etc. In learning the graphical structure of Gaussian MRFs, it is desired to discover the actual edges of the underlying but unknown probabilistic graphical model-it becomes more complicated when the number of random variables (features) p increases, compared to the number of data points n. In particular, when p >> n, it is statistically unavoidable for any estimation procedure to include false edges. Therefore, there have been many trials to reduce the false detection of edges, in particular, using different types of regularization on the learning parameters. Our method makes use of the SL1 regularization, introduced recently for model selection in linear regression. We focus on the benefit of SL1 regularization that it can be used to control the FDR of detecting important random variables. Adapting SL1 for probabilistic graphical models, we show that SL1 can be used for the structure learning of Gaussian MRFs using our suggested procedure nsSLOPE (neighborhood selection Sorted L-One Penalized Estimation), controlling the FDR of detecting edges.

研究动机与目标

• 为解决在p ≫ n条件下高斯马尔可夫随机场（GMRFs）中假阳性边检测的挑战。
• 开发一种结构学习方法，控制假发现率（FDR）而非更为保守的家族wise错误率（FWER）。
• 将排序L1-范数（SL1）正则化从回归任务拓展至GMRFs，以提升模型选择性能。
• 提供一种统计上合理的稀疏精度矩阵估计方法，实现受控的FDR与增强的检测功效。

提出的方法

• 提出nsSLOPE（邻域选择排序L1惩罚估计）用于GMRFs中的结构学习，采用SL1正则化。
• 通过将SLOPE过程——原用于线性回归——应用于邻域回归问题，实现排序L1惩罚。
• 使用Benjamini-Hochberg程序基于目标FDR水平q = 0.05设置调优参数λi。
• 对每个节点求解一系列凸优化问题，最小化负对数似然与SL1惩罚：min_β (1/2)‖y - Xβ‖² + ∑λi|β|(i)。
• 对最终的精度矩阵估计应用对称化处理，以确保矩阵对称性。
• 采用反向缩放校正以改善对角线估计，尽管这仍是未来改进的领域。

实验结果

研究问题

• RQ1 SL1正则化能否有效适配至高斯马尔可夫随机场中的结构学习？
• RQ2 在高维设置下，nsSLOPE是否在FDR控制和检测功效方面优于传统gLASSO？
• RQ3 与FWER控制相比，通过SLOPE实现的FDR控制在统计功效和假发现率准确性方面表现如何？
• RQ4 对称化与对角线校正对最终精度矩阵估计有何影响？
• RQ5 该方法能否在提升真实条件依赖结构恢复能力的同时维持FDR控制？

主要发现

• 在所有设置中，经验FDR均稳定控制在名义水平0.05附近，nsSLOPE相比gLASSO表现出更严格的控制。
• nsSLOPE在检测真实非零条目比例（即统计功效）方面显著优于gLASSO，尤其在高维情形下。
• 在块对角与中心结构协方差设定下，nsSLOPE成功恢复了真实底层图结构，且假阳性数量少于gLASSO。
• 该方法在不同样本量（n = 100至400）与固定p = 500下表现出稳健性能，FDR稳定，且对角线条目均方误差（MSE）得到改善。
• 最终估计的对称化处理提升了矩阵对称性，但未显著改变FDR或检测功效，表明nsSLOPE对中间步骤中的非对称性具有鲁棒性。
• 对角线估计仍存在改进空间，尤其是通过更精确的反向缩放以校正SLOPE过程中产生的归一化效应。