[论文解读] Structure Learning from Related Data Sets with a Hierarchical Bayesian Score

Laura Azzimonti, Giorgio Corani+1 more|arXiv (Cornell University)|Jan 1, 2020

Bayesian Modeling and Causal Inference参考文献 20被引用 2

一句话总结

本文提出了一种新颖的贝叶斯分层狄利克雷（BHD）评分方法，用于从多个相关但非同质的数据集中学习贝叶斯网络结构。通过利用分层先验在不同数据集之间共享信息，同时考虑结构差异，BHD在重建准确度（以结构汉明距离衡量）方面优于标准的BDeu评分，尤其在异质性设置下表现更优，并能生成更稀疏、更具可解释性的网络，减少虚假正向边的数量。

ABSTRACT

Score functions for learning the structure of Bayesian networks in the literature assume that data are a homogeneous set of observations; whereas it is often the case that they comprise different related, but not homogeneous, data sets collected in different ways. In this paper we propose a new Bayesian Dirichlet score, which we call Bayesian Hierarchical Dirichlet (BHD). The proposed score is based on a hierarchical model that pools information across data sets to learn a single encompassing network structure, while taking into account the differences in their probabilistic structures. We derive a closed-form expression for BHD using a variational approximation of the marginal likelihood and we study its performance using simulated data. We find that, when data comprise multiple related data sets, BHD outperforms the Bayesian Dirichlet equivalent uniform (BDeu) score in terms of reconstruction accuracy as measured by the Structural Hamming distance, and that it is as accurate as BDeu when data are homogeneous. Moreover, the estimated networks are sparser and therefore more interpretable than those obtained with BDeu, thanks to a lower number of false positive arcs.

研究动机与目标

• 解决现有贝叶斯网络结构学习方法假设数据同质化的问题，而这一假设在实践中往往不现实。
• 开发一种评分函数，能够有效从多个相关但不完全相同的数据集中学习单一网络结构。
• 通过分层建模方法同时整合共享与数据集特异的概率结构。
• 通过减少虚假正向边，提升网络的可解释性，相较于标准评分方法（如BDeu）。
• 在重建准确度与结构稀疏性方面，评估所提方法与BDeu的性能对比。

提出的方法

• 基于分层先验提出一种基于贝叶斯分层狄利克雷（BHD）的评分方法，用于建模多个数据集之间的共享与数据集特异性参数。
• 使用变分近似推导出边缘似然的闭式表达式，从而实现BHD评分的高效计算。
• 采用分层狄利克雷先验对条件概率分布进行建模，实现信息共享的同时保留各数据集的特异性特征。
• 在基于评分的结构学习框架中应用BHD评分，以识别所有数据集的最优网络结构。
• 采用变分近似处理难以计算的边缘似然，使该方法可扩展至多个数据集。
• 使用结构汉明距离作为指标，评估学习到的结构与真实结构之间的准确度。

实验结果

研究问题

• RQ1 能否设计一种贝叶斯评分方法，用于从多个相关但非同质的数据集中学习统一的贝叶斯网络结构？
• RQ2 在数据异质性条件下，BHD评分与BDeu在重建准确度方面有何差异？
• RQ3 在存在多个数据集的情况下，BHD评分是否能生成比BDeu更稀疏、更具可解释性的网络？
• RQ4 分层建模方法在通过跨数据集信息共享提升结构学习方面，其改进程度如何？
• RQ5 在保持同质性设置下高准确度的同时，BHD评分是否对数据异质性具有鲁棒性？

主要发现

• 当数据包含多个相关但非同质的数据集时，BHD评分在结构汉明距离指标上显著优于BDeu评分。
• 在数据同质的情况下，BHD评分与BDeu评分保持相当的准确度，表明其在不同类型数据上均具有鲁棒性。
• 使用BHD学习到的网络比使用BDeu学习到的网络更稀疏，表明虚假正向边数量更少。
• 虚假正向边的减少提升了网络的可解释性，使BHD特别适用于具有复杂异质数据源的真实世界数据。
• 变分近似使BHD评分的计算更加高效，支持扩展至多个数据集。
• 分层先验有效平衡了跨数据集的信息共享与数据特异性结构特征的保留。