[论文解读] uGLAD: Sparse graph recovery by optimizing deep unrolled networks

Harsh Shrivastava, Urszula Chajewska+2 more|arXiv (Cornell University)|May 23, 2022

Bayesian Modeling and Causal Inference被引用 5

一句话总结

uGLAD 提出了一种无监督深度展开网络，通过优化可微分图 graphical lasso 目标函数实现稀疏图恢复，利用神经网络自动学习自适应正则化参数。该方法在合成高斯分布、非高斯基因调控网络及厌氧消化数据上均优于当前最先进方法，通过多任务一致性策略在缺失数据情况下表现出稳健性能。

ABSTRACT

Probabilistic Graphical Models (PGMs) are generative models of complex systems. They rely on conditional independence assumptions between variables to learn sparse representations which can be visualized in a form of a graph. Such models are used for domain exploration and structure discovery in poorly understood domains. This work introduces a novel technique to perform sparse graph recovery by optimizing deep unrolled networks. Assuming that the input data $X\in\mathbb{R}^{M imes D}$ comes from an underlying multivariate Gaussian distribution, we apply a deep model on $X$ that outputs the precision matrix $\hatΘ$, which can also be interpreted as the adjacency matrix. Our model, uGLAD, builds upon and extends the state-of-the-art model GLAD to the unsupervised setting. The key benefits of our model are (1) uGLAD automatically optimizes sparsity-related regularization parameters leading to better performance than existing algorithms. (2) We introduce multi-task learning based `consensus' strategy for robust handling of missing data in an unsupervised setting. We evaluate model results on synthetic Gaussian data, non-Gaussian data generated from Gene Regulatory Networks, and present a case study in anaerobic digestion.

研究动机与目标

• 解决真实世界领域（如基因组学和环境系统）中常见的高维、高噪声及缺失数据场景下的稀疏图恢复挑战。
• 克服传统 graphical lasso 方法依赖于精度矩阵所有条目统一手动调优的正则化参数的局限性。
• 开发一种端到端可微分框架，以无监督方式联合优化稀疏性正则化与图结构学习。
• 通过多任务学习的“一致性”策略，利用多个样本间的共享结构，实现对缺失数据的稳健处理。
• 提供一种可扩展的、基于 GPU 加速的深度学习解决方案，能够在系统生物学与金融建模等多样化领域中实现良好泛化。

提出的方法

• uGLAD 通过引入辅助变量 Z 重新表述 graphical lasso 目标函数，将精度矩阵 Θ 与 ℓ₁ 正则化解耦，实现可微分优化。
• 该方法引入可微分的展开优化循环，其中每一步迭代均建模为循环单元（GLADcell），支持时间反向传播以学习模型参数。
• 通过神经网络参数化稀疏性正则化，预测逐元素的正则化权重 ρ_ij，实现在精度矩阵中自适应、数据相关的稀疏性。
• 采用多任务学习策略，联合优化一批样本，通过“一致性”损失鼓励样本间图结构的一致性，从而提升对缺失数据的鲁棒性。
• 框架采用基于可微分舒尔补（Schur complement）的更新规则，在优化过程中保持精度矩阵的正定性。
• 模型通过重参数化目标函数进行端到端训练：最小化 -log(det Θ) + tr(Σ̂Θ) + ρ‖Z‖₁ + (1/2)λ‖Z - Θ‖²_F，其中 Θ 和 Z 通过反向传播进行更新。

实验结果

研究问题

• RQ1 深度展开网络能否在无需人工调参的情况下，自动学习稀疏图恢复的最优、自适应正则化参数？
• RQ2 在合成及真实世界的非高斯数据上，uGLAD 与经典 graphical lasso 及监督式 GLAD 相比表现如何？
• RQ3 uGLAD 在无监督设置下，通过多任务一致性策略处理缺失数据的能力有多强？
• RQ4 在深度展开架构中采用端到端可微分优化，是否能带来比传统凸求解器更高的恢复准确率与样本效率？
• RQ5 uGLAD 是否能有效应用于真实世界领域（如厌氧消化与基因调控网络），以生成可操作的生物学洞见？

主要发现

• uGLAD 在合成高斯数据上显著优于标准 graphical lasso 和监督式 GLAD 模型，实现了更高的 F1 分数与更低的精度矩阵估计误差。
• 在基因调控网络生成的非高斯数据上，uGLAD 恢复的图结构具有更高的真正例率与更低的假发现率，优于基线方法。
• 在厌氧消化案例研究中，uGLAD 成功识别出中温与高温消化器网络之间的共有边，揭示了条件依赖的相关性，使领域专家能够对微生物相互作用提出假设。
• 多任务一致性策略能有效缓解缺失数据导致的性能下降，在高达 30% 的条目缺失情况下仍能保持高图恢复准确率。
• 得益于 GPU 加速训练与可微分优化，uGLAD 在大规模问题上收敛更快、可扩展性更强，在高维数据集上的运行效率优于传统求解器。
• 模型学习自适应正则化权重的能力显著提升了样本复杂度与鲁棒性，尤其在低样本量场景下，传统 lasso 方法往往失效。