[论文解读] Structure Variability in Bayesian Networks

Marco Scutari|arXiv (Cornell University)|Sep 9, 2009

Bayesian Modeling and Causal Inference参考文献 23被引用 4

一句话总结

本文提出了一种统计框架，通过将无向骨架建模为多元伯努利随机变量，评估贝叶斯网络中的结构变异性。基于边存在的参数检验和蒙特卡洛检验，该框架实现了网络结构稳定性的精确与渐近推断，提供了对弧和子结构的置信度度量。关键结果表明，在最大熵假设下，边的独立性与方差界成立。

ABSTRACT

The structure of a Bayesian network encodes most of the information about the probability distribution of the data, which is uniquely identified given some general distributional assumptions. Therefore it's important to study the variability of its network structure, which can be used to compare the performance of different learning algorithms and to measure the strength of any arbitrary subset of arcs. In this paper we will introduce some descriptive statistics and the corresponding parametric and Monte Carlo tests on the undirected graph underlying the structure of a Bayesian network, modeled as a multivariate Bernoulli random variable.

研究动机与目标

• 为解决真实世界数据中由于真实结构未知而导致的贝叶斯网络结构缺乏可靠置信度度量的问题。
• 开发一种系统化的统计方法，用于量化学习算法的网络结构变异性。
• 通过参数检验和蒙特卡洛检验，实现对弧存在性和子结构稳定性的推断。
• 在多元伯努利建模下，为网络结构变异性提供精确与渐近统计检验。
• 通过推导解析基础的显著性水平，克服经验自助法概率的局限性。

提出的方法

• 将贝叶斯网络的无向图结构建模为一个多元伯努利随机向量，其中每个分量表示某条边的存在（1）或不存在（0）。
• 通过表示边出现的边际概率与联合概率的参数定义联合分布，并基于一阶与二阶矩统计量推导其矩。
• 基于方差、广义方差以及协方差矩阵的Frobenius范数，推导出用于结构变异性分析的精确与渐近检验统计量。
• 使用已知协方差结构的参数自助法，计算关于边配置的原假设的p值。
• 通过蒙特卡洛模拟，估计在边独立原假设下的检验统计量的抽样分布。
• 通过卡方分布与伽马分布实现显著性检验，针对基于方差的检验统计量进行有限样本偏差校正。

实验结果

研究问题

• RQ1 我们如何正式量化在自助样本中贝叶斯网络结构的变异性？
• RQ2 可以推导出哪些统计检验来评估贝叶斯网络中单个弧或子结构的显著性？
• RQ3 在自助分布中，贝叶斯网络结构的边在何种条件下表现出独立性？
• RQ4 诸如总方差与广义方差等结构层面变异性度量的精确与渐近分布是什么？
• RQ5 如何校准基于自助法的置信估计，以避免依赖数据的阈值设定问题？

主要发现

• 多元伯努利模型能准确捕捉贝叶斯网络骨架中边存在的联合分布，从而支持正式的统计推断。
• 在最大熵假设下，所有边均不相关，边际概率为1/2，任意两条不同边的联合概率为1/4。
• 当所有边出现概率相等时，边存在向量的总方差达到最大值 $ k^3/16 $，对应于最大熵状态。
• 在最大熵假设下，协方差矩阵的方差为 $ k(k-1)^2/16 $，为结构变异性提供了理论边界。
• 参数自助模拟表明，基于方差与Frobenius范数的检验统计量能产生有效的p值用于显著性检验。
• 使用卡方与伽马分布的渐近推断能对检验统计量提供准确近似，尤其在样本量较大时表现更优。