[论文解读] Node-Based Learning of Multiple Gaussian Graphical Models

Karthik Mohan, Palma London+3 more|arXiv (Cornell University)|Mar 21, 2013

Gaussian Processes and Bayesian Inference参考文献 3被引用 112

一句话总结

本文提出了一种基于节点的方法，用于在假设网络差异源于不同条件下的扰动节点或共享枢纽节点的前提下，学习多个高斯图形模型（GGMs）。通过使用行-列重叠范数惩罚和ADMM优化，该方法实现了高维GGMs的可扩展、结构化估计，在检测生物上有意义的网络变化方面优于基于边的方法。

ABSTRACT

We consider the problem of estimating high-dimensional Gaussian graphical models corresponding to a single set of variables under several distinct conditions. This problem is motivated by the task of recovering transcriptional regulatory networks on the basis of gene expression data {containing heterogeneous samples, such as different disease states, multiple species, or different developmental stages}. We assume that most aspects of the conditional dependence networks are shared, but that there are some structured differences between them. Rather than assuming that similarities and differences between networks are driven by individual edges, we take a node-based approach, which in many cases provides a more intuitive interpretation of the network differences. We consider estimation under two distinct assumptions: (1) differences between the K networks are due to individual nodes that are perturbed across conditions, or (2) similarities among the K networks are due to the presence of common hub nodes that are shared across all K networks. Using a row-column overlap norm penalty function, we formulate two convex optimization problems that correspond to these two assumptions. We solve these problems using an alternating direction method of multipliers algorithm, and we derive a set of necessary and sufficient conditions that allows us to decompose the problem into independent subproblems so that our algorithm can be scaled to high-dimensional settings. Our proposal is illustrated on synthetic data, a webpage data set, and a brain cancer gene expression data set.

研究动机与目标

• 为解决在多个高维高斯图形模型估计中，当网络具有结构相似性但跨条件表现出条件性结构差异时的挑战。
• 不将网络差异建模在边层面，而是在节点层面进行，从而实现对跨条件扰动节点或枢纽节点的更可解释性识别。
• 开发一种凸优化框架，以鼓励所有网络中共享枢纽节点，或识别出在不同条件间连接模式发生扰动的节点。
• 通过将优化问题分解为独立子问题来实现该方法在高维设置下的可扩展性，使用ADMM。
• 在合成数据、网页数据以及脑癌研究中的基因表达数据上，展示该方法在检测生物相关网络变化方面的性能提升。

提出的方法

• 提出两个凸优化问题：一个用于检测扰动节点（PNJGL），另一个用于识别共同枢纽节点（CNJGL），两者均使用行-列重叠范数惩罚以诱导结构化稀疏性。
• 应用交替方向乘子法（ADMM）求解优化问题，实现分布式和可扩展的计算。
• 推导出将问题分解为每个节点独立子问题的必要和充分条件，从而在高维设置下实现高效计算。
• 使用软阈值化和组软阈值化算子来更新ADMM算法中的变量，并为原始变量和对偶变量推导出显式更新规则。
• 采用行-列重叠范数，对多个精度矩阵中行与列的联合稀疏性施加惩罚，以促进网络间的共享结构。
• 引入一种新型惩罚函数，以捕捉节点层面的差异或共性，相比基于边的方法提供更直观的解释。

实验结果

研究问题

• RQ1 与传统的基于边的方法相比，基于节点的方法是否能提高多GGM估计的可解释性和准确性？
• RQ2 在使用结构化稀疏性惩罚时，能否可靠地识别出多个条件下共享的枢纽节点？
• RQ3 所提出的方法在多大程度上能有效检测出在不同生物或实验条件下连接模式发生扰动的单个节点？
• RQ4 该优化框架能否在保持计算效率和统计一致性的同时，扩展到高维设置？
• RQ5 在真实世界数据（如癌症中的基因调控网络）中，该方法在识别生物相关网络变化方面的表现如何？

主要发现

• PNJGL方法在合成数据中成功识别出扰动节点，估计的节点差异矩阵的列范数能清晰区分扰动与非扰动节点。
• CNJGL方法准确检测出网络间的共同枢纽节点，表现为在所有条件下均为枢纽的节点，其估计共享枢纽矩阵的列范数较高。
• 在脑癌基因表达数据集上，该方法识别出生物上合理的调控网络变化，包括已知的致癌调节因子作为扰动节点。
• 在检测网络差异方面，该方法在精确率和召回率上优于基于边的替代方法（如FGL、GL），尤其在识别枢纽节点和扰动节点方面表现更优。
• 基于ADMM的算法收敛迅速，且在高维数据上具有良好的可扩展性，分解机制使得每个节点的子问题可独立求解。
• 在模拟研究中，结果对调优参数的选择具有鲁棒性，在一系列参数值下均能一致检测出扰动节点和枢纽节点。