[论文解读] Sparse Linear Identifiable Multivariate Modeling

Ricardo Henao, Ole Winther|arXiv (Cornell University)|Apr 29, 2010

Bayesian Modeling and Causal Inference参考文献 62被引用 27

一句话总结

本文提出 SLIM，一种用于稀疏、可识别线性因子模型与贝叶斯网络的全贝叶斯框架，通过使用突触-泥浆先验和随机变量排序，实现结构、参数与稀疏性的联合推断。SLIM 在合成数据与生物数据上通过显式简约性与可识别性，实现了优于或相当的性能，同时提升了可解释性。

ABSTRACT

In this paper we consider sparse and identifiable linear latent variable (factor) and linear Bayesian network models for parsimonious analysis of multivariate data. We propose a computationally efficient method for joint parameter and model inference, and model comparison. It consists of a fully Bayesian hierarchy for sparse models using slab and spike priors (two-component delta-function and continuous mixtures), non-Gaussian latent factors and a stochastic search over the ordering of the variables. The framework, which we call SLIM (Sparse Linear Identifiable Multivariate modeling), is validated and bench-marked on artificial and real biological data sets. SLIM is closest in spirit to LiNGAM (Shimizu et al., 2006), but differs substantially in inference, Bayesian network structure learning and model comparison. Experimentally, SLIM performs equally well or better than LiNGAM with comparable computational complexity. We attribute this mainly to the stochastic search strategy used, and to parsimony (sparsity and identifiability), which is an explicit part of the model. We propose two extensions to the basic i.i.d. linear framework: non-linear dependence on observed variables, called SNIM (Sparse Non-linear Identifiable Multivariate modeling) and allowing for correlations between latent variables, called CSLIM (Correlated SLIM), for the temporal and/or spatial data. The source code and scripts are available from http://cogsys.imm.dtu.dk/slim/.

研究动机与目标

• 开发一种用于稀疏且可识别的线性多变量模型的全贝叶斯框架，支持结构、参数与稀疏性的联合推断。
• 通过在变量排序上引入随机搜索与显式可识别性约束，解决现有方法（如 LiNGAM）的局限性。
• 通过分层贝叶斯模型与非高斯潜变量因子及稀疏性诱导先验，实现模型比较与选择。
• 通过 SNIM 与 CSLIM 将框架扩展至非线性与相关潜变量设置，适用于时间或空间数据。
• 通过引入掩码似然与后验预测近似，支持在缺失数据下的稳健推断。

提出的方法

• 采用分层贝叶斯模型，结合板-突触先验（两分量δ函数与连续混合分布），在因子载荷矩阵中诱导稀疏性。
• 通过在变量排序上进行随机搜索，探索多种 DAG 结构，提升可识别性与模型拟合度。
• 应用非高斯潜变量因子与基于吉布斯抽样的全贝叶斯推断，涵盖混合矩阵、精度参数与稀疏性指标。
• 对所有参数（包括 $ c_{ij} $, $ au_{ij} $, $ q_{ij} $, $ u_j $, 和 $ u_j $）应用条件后验分布，使用共轭更新与梅特罗波利斯-黑斯廷斯算法。
• 通过引入掩码矩阵 $ f{M}_{ ext{miss}} $，将框架适配于缺失数据，相应修改似然函数，并支持预测密度估计。
• 通过高斯过程先验与修改后的协方差结构，将模型扩展至非线性依赖（SNIM）与相关潜变量（CSLIM）情形。

实验结果

研究问题

• RQ1 与现有方法（如 LiNGAM）相比，采用突触-泥浆先验与随机排序的全贝叶斯框架是否能提升线性多变量模型中的可识别性与稀疏性？
• RQ2 在高维稀疏因子模型中，变量排序的随机搜索策略如何影响模型选择与性能？
• RQ3 显式简约性（稀疏性与可识别性）在真实生物数据中在多大程度上提升了可解释性与预测准确性？
• RQ4 该框架能否在保持计算效率与可识别性的前提下，扩展至非线性与相关潜变量模型？
• RQ5 该模型在处理缺失数据时表现如何？在不完整观测下，预测推断的准确性如何？

主要发现

• SLIM 在基准数据集上的性能与 LiNGAM 相当或更优，尽管计算复杂度相近。
• 随机搜索策略通过探索多种变量排序，显著提升了模型发现能力，增强了可识别性与结构学习效果。
• 模型中显式稀疏性与可识别性使因子结构与 DAG 结构更具可解释性与鲁棒性，尤其在高维生物数据中表现突出。
• 通过使用掩码似然与后验预测汇总，框架成功处理了缺失数据，整合了缺失成分的不确定性。
• SNIM（非线性）与 CSLIM（相关因子）的扩展在时间与空间数据中具有可行性，核心推断机制可通过参数重定义适配。
• 在人工数据与真实生物数据上的实证验证表明，该模型能以高精度与低误发现率恢复真实潜在结构。