[论文解读] Strong Completeness and Faithfulness in Bayesian Networks

Christopher Meek|arXiv (Cornell University)|Feb 20, 2013

Bayesian Modeling and Causal Inference参考文献 13被引用 199

一句话总结

本文通过证明在测度论意义上，几乎所有给定网络结构上的参数化分布都是忠实的——即分布中的所有条件独立关系恰好由 d-分离准则所蕴含——从而在离散贝叶斯网络中建立了强完备性和忠实性。该结果证实，d-分离对离散贝叶斯网络空间中的几乎所有分布而言，既是正确的也是完备的。

ABSTRACT

A completeness result for d-separation applied to discrete Bayesian networks is presented and it is shown that in a strong measure-theoretic sense almost all discrete distributions for a given network structure are faithful; i.e. the independence facts true of the distribution are all and only those entailed by the network structure.

研究动机与目标

• 建立离散贝叶斯网络中 d-分离准则的完备性。
• 研究分布中的所有条件独立关系是否都能被网络结构完全捕捉。
• 确定在给定网络结构的所有可能分布空间中，忠实分布的测度论普遍性。
• 为因果发现和结构学习中常用的信任假设提供理论依据。
• 证明在典型的离散贝叶斯网络中，忠实性并非例外，而是常态。

提出的方法

• 使用测度论分析评估给定贝叶斯网络结构的所有可能参数化分布集合。
• 应用 d-分离准则识别由网络结构蕴含的所有条件独立关系。
• 证明违反忠实性的分布集合（即具有 d-分离未蕴含的额外独立关系的分布）的勒贝格测度为零。
• 表明忠实分布的空间在网络的参数空间中是稠密且测度为全的。
• 运用代数几何和多项式约束，将非忠实分布的集合表征为低维子流形。
• 证明在与网络结构相容的所有离散条件概率分布中，忠实性在整体上成立。

实验结果

研究问题

• RQ1 d-分离准则是否能完备地捕捉离散贝叶斯网络中所有条件独立关系？
• RQ2 在固定网络结构的所有分布空间中，忠实分布的测度论普遍性如何？
• RQ3 是否存在显著的分布类别违反忠实性，还是忠实性才是常态？
• RQ4 是否几乎对所有离散贝叶斯网络的参数设置，都能保证忠实性？
• RQ5 贝叶斯网络的结构在多大程度上决定了其关联概率分布的独立性事实？

主要发现

• 对于任意离散贝叶斯网络结构，非忠实的参数化分布集合的勒贝格测度为零。
• 几乎所有给定网络结构上的分布都忠实于 d-分离准则。
• 信任假设并非任意限制，而是在参数空间中普遍成立。
• 非忠实分布的集合构成一个低维代数簇，意味着在测度论意义上它们是罕见的。
• d-分离准则不仅正确，而且对网络参数空间中几乎所有离散分布都具有完备性。
• 该结果支持在因果发现和结构学习算法中将忠实性作为基础假设。