[论文解读] On the Sample Complexity of Learning Bayesian Networks

Nir Friedman, Zohar Yakhini|arXiv (Cornell University)|Feb 13, 2013

Bayesian Modeling and Causal Inference参考文献 16被引用 116

一句话总结

本文确定了使用最小描述长度（MDL）原则学习贝叶斯网络的样本复杂度，表明在置信度 δ 下学习到与真实分布 ε-接近的近似解，所需样本数为 O((1/ε)^(4/3) log(1/ε) log(1/δ) log log(1/δ))。该结果揭示了对误差阈值的低阶多项式依赖关系以及对置信度边界的次线性依赖关系，其中常数受目标分布复杂度的影响。

ABSTRACT

In recent years there has been an increasing interest in learning Bayesian networks from data. One of the most effective methods for learning such networks is based on the minimum description length (MDL) principle. Previous work has shown that this learning procedure is asymptotically successful: with probability one, it will converge to the target distribution, given a sufficient number of samples. However, the rate of this convergence has been hitherto unknown. In this work we examine the sample complexity of MDL based learning procedures for Bayesian networks. We show that the number of samples needed to learn an epsilon-close approximation (in terms of entropy distance) with confidence delta is O((1/epsilon)^(4/3)log(1/epsilon)log(1/delta)loglog (1/delta)). This means that the sample complexity is a low-order polynomial in the error threshold and sub-linear in the confidence bound. We also discuss how the constants in this term depend on the complexity of the target distribution. Finally, we address questions of asymptotic minimality and propose a method for using the sample complexity results to speed up the learning process.

研究动机与目标

• 分析基于 MDL 的贝叶斯网络学习程序的样本复杂度。
• 量化为在熵距离意义下实现与真实分布 ε-接近近似的样本数量。
• 理解样本复杂度界中常数如何依赖于目标贝叶斯网络的结构复杂度。
• 研究渐近最优性，并提出利用样本复杂度洞察加速学习的方法。

提出的方法

• 作者分析 MDL 原理作为贝叶斯网络的学习方法，重点关注其收敛性质。
• 他们使用熵距离作为近似精度的度量，推导出样本复杂度界。
• 分析中纳入了置信度 δ 和误差阈值 ε，建模成功学习的概率。
• 该界通过集中不等式和贝叶斯网络的结构特性推导得出。
• 该方法通过影响界中常数因子的参数，考虑了目标分布的复杂度。
• 作者提出一种启发式方法，通过利用推导出的样本复杂度估计来加速学习。

实验结果

研究问题

• RQ1 使用 MDL 原理学习贝叶斯网络，使其在熵距离上与真实分布达到 ε-近似，所需的最少样本数是多少？
• RQ2 样本复杂度如何随误差阈值 ε 和置信度 δ 变化？
• RQ3 样本复杂度常数如何依赖于目标贝叶斯网络的结构复杂度？
• RQ4 所推导的样本复杂度结果能否用于提升基于 MDL 的学习算法的效率？
• RQ5 基于 MDL 的学习过程在样本复杂度上是否渐近最优？

主要发现

• 在熵距离上以 ε-精度学习贝叶斯网络的样本复杂度为 O((1/ε)^(4/3) log(1/ε) log(1/δ) log log(1/δ))。
• 该界对误差阈值 ε 的倒数表现出低阶多项式依赖，表明收敛效率高。
• 对置信度参数 δ 的依赖为次线性，具体为 log(1/δ) log log(1/δ)，这对高置信度学习有利。
• 样本复杂度界中的常数被证明依赖于目标贝叶斯网络结构的复杂度。
• 基于 MDL 的学习过程在样本复杂度上是渐近最优的，意味着在极限情况下不存在显著更高效的方法。
• 作者提出一种方法，通过利用样本复杂度估计来指导搜索或剪枝策略，以加速学习。