[论文解读] Structured Priors for Structure Learning

Vikash K. Mansinghka, Charles Kemp+2 more|arXiv (Cornell University)|Jun 27, 2012

Bayesian Modeling and Causal Inference参考文献 12被引用 13

一句话总结

该论文提出了一种非参数贝叶斯模型，通过将变量分组为类别，将结构化先验引入贝叶斯网络结构学习中，其中边的概率仅取决于类别之间的关系。利用MCMC推理，该方法联合学习网络结构、类别分配以及类别数量，在小样本稀疏数据集上相比均匀先验显著提升了准确性，从而利用系统化的依赖模式。

ABSTRACT

Traditional approaches to Bayes net structure learning typically assume little regularity in graph structure other than sparseness. However, in many cases, we expect more systematicity: variables in real-world systems often group into classes that predict the kinds of probabilistic dependencies they participate in. Here we capture this form of prior knowledge in a hierarchical Bayesian framework, and exploit it to enable structure learning and type discovery from small datasets. Specifically, we present a nonparametric generative model for directed acyclic graphs as a prior for Bayes net structure learning. Our model assumes that variables come in one or more classes and that the prior probability of an edge existing between two variables is a function only of their classes. We derive an MCMC algorithm for simultaneous inference of the number of classes, the class assignments of variables, and the Bayes net structure over variables. For several realistic, sparse datasets, we show that the bias towards systematicity of connections provided by our model yields more accurate learned networks than a traditional, uniform prior approach, and that the classes found by our model are appropriate.

研究动机与目标

• 为解决传统贝叶斯网络结构学习的局限性，即仅假设稀疏性，缺乏依赖关系的系统性结构。
• 整合关于变量分组的领域知识，以预测现实系统中的概率依赖关系。
• 开发一种非参数生成模型，从少量数据中联合推断类别数量、类别分配及网络结构。
• 通过基于类别的先验编码边形成中的系统性，实现类型发现和更准确的结构学习。

提出的方法

• 提出一种层次化贝叶斯模型，其中变量被分配到类别中，且两个变量之间边的先验概率仅取决于其类别。
• 使用非参数先验（具体为狄利克雷过程混合）以允许类别数量未知且可能无限。
• 定义一种有向无环图（DAG）的生成过程，其中边的存在由类别层级参数随机决定。
• 采用Metropolis-Hastings MCMC算法联合推断：(1) 变量的类别分配，(2) 类别数量，以及 (3) DAG结构。
• 实现可逆跳跃MCMC移动，以在推理过程中探索不同数量的类别和变量分配。
• 使用条件概率模型，其中边的概率由类别层级的亲和矩阵控制，从而实现系统化的依赖模式。

实验结果

研究问题

• RQ1 基于变量类别的结构化先验是否能在小样本数据集上相比均匀先验提升贝叶斯网络结构学习的性能？
• RQ2 该模型从数据中发现有意义且可解释的变量类别的能力如何？
• RQ3 引入基于类别的边先验是否能带来比传统仅依赖稀疏性假设更准确的网络结构？
• RQ4 该模型的非参数特性在无需预先指定的情况下，能在多大程度上适应真实类别数量？
• RQ5 该模型能否在一致的概率框架下同时推断类别数量和网络结构？

主要发现

• 与基线均匀先验方法相比，所提出的模型在多个现实世界稀疏数据集上的结构恢复准确性显著提高。
• 该模型成功发现了与领域预期一致的可解释且有意义的变量类别，展示了有效的类型发现能力。
• 在结构化先验下的推断能产生更稳定且合理的网络结构，尤其在数据有限时表现更优。
• 该模型的非参数特性使其能够自动确定最优类别数量，而无需人工指定。
• MCMC推断过程能有效探索类别分配、类别数量和DAG结构的联合空间，生成一致且高质量的后验样本。