[论文解读] On the Number of Samples Needed to Learn the Correct Structure of a Bayesian Network

Or Zuk, Shiri Margel+1 more|arXiv (Cornell University)|Jun 27, 2012

Bayesian Modeling and Causal Inference参考文献 9被引用 13

一句话总结

本文研究了学习贝叶斯网络正确结构所需的样本复杂度，将其与学习准确分布区分开来。研究证明，即使在计算能力无限的情况下，结构学习所需的样本数量也远多于分布近似，这是由于从数据中识别正确网络拓扑的组合复杂性所致。

ABSTRACT

Bayesian Networks (BNs) are useful tools giving a natural and compact representation of joint probability distributions. In many applications one needs to learn a Bayesian Network (BN) from data. In this context, it is important to understand the number of samples needed in order to guarantee a successful learning. Previous work have studied BNs sample complexity, yet it mainly focused on the requirement that the learned distribution will be close to the original distribution which generated the data. In this work, we study a different aspect of the learning, namely the number of samples needed in order to learn the correct structure of the network. We give both asymptotic results, valid in the large sample limit, and experimental results, demonstrating the learning behavior for feasible sample sizes. We show that structure learning is a more difficult task, compared to approximating the correct distribution, in the sense that it requires a much larger number of samples, regardless of the computational power available for the learner.

研究动机与目标

• 确定从数据中可靠学习贝叶斯网络正确结构所需的样本数量。
• 对比结构学习与分布近似之间的样本复杂度，后者已被更广泛研究。
• 分析在不同样本规模下结构学习的理论与实证行为。
• 确立结构学习本质上比分布学习更依赖样本，无论计算资源如何。
• 提供关于结构学习算法可行性与边界的渐近与有限样本洞察。

提出的方法

• 使用渐近方法进行理论分析，推导贝叶斯网络结构学习的样本复杂度边界。
• 通过考察潜在的统计估计挑战，将结构学习与分布近似进行比较。
• 运用信息论与概率论论证，量化高概率结构恢复所需的独立同分布样本最小数量。
• 在合成数据上进行实证评估，以验证理论预测并展示在可行样本规模下的学习行为。
• 应用标准基于评分的结构学习算法（例如 BIC 或 BDe）评估在不同样本规模下向真实结构收敛的情况。
• 分析网络拓扑与条件独立性结构在决定样本需求中的作用。

实验结果

研究问题

• RQ1 以高概率学习正确贝叶斯网络结构需要多少样本？
• RQ2 结构学习的样本复杂度与学习底层分布的近似值相比如何？
• RQ3 随着样本数量增加，结构学习的渐近行为如何？
• RQ4 有限样本规模在实践中如何影响结构学习的准确性？
• RQ5 真实网络结构的复杂度（例如节点数、边数或条件独立性模式）是否显著影响样本需求？

主要发现

• 即使在计算能力无限的情况下，结构学习所需的样本数量也远多于分布近似。
• 结构学习的样本复杂度随变量数量的增加而比对数增长得更快，使其本质上更依赖数据。
• 即使在大样本极限下，恢复正确结构所需的样本数量也显著多于分布估计。
• 实证结果证实，结构学习收敛缓慢，在中等样本规模下仍存在高误差率。
• 所需样本数量与必须正确识别的条件独立性约束数量成比例。
• 本研究确立了结构学习的困难性是问题本身的内在属性，而非当前算法的局限性。