[论文解读] Stochastic complexity of Bayesian networks

Keisuke Yamazaki, Sumio Watanabe|arXiv (Cornell University)|Oct 19, 2012

Bayesian Modeling and Causal Inference参考文献 12被引用 31

一句话总结

本文利用代数几何方法，确定了含有隐变量的贝叶斯网络的随机复杂度，揭示其学习复杂度显著低于常规模型，原因在于参数空间中的奇异性。关键结果表明，随机复杂度的上界小于参数维度，这意味着贝叶斯模型选择准则（如BIC）不适用，必须对这类非正则模型进行修正。

ABSTRACT

Bayesian networks are now being used in enormous fields, for example, diagnosis of a system, data mining, clustering and so on. In spite of their wide range of applications, the statistical properties have not yet been clarified, because the models are nonidentifiable and non-regular. In a Bayesian network, the set of its parameter for a smaller model is an analytic set with singularities in the space of large ones. Because of these singularities, the Fisher information matrices are not positive definite. In other words, the mathematical foundation for learning was not constructed. In recent years, however, we have developed a method to analyze non-regular models using algebraic geometry. This method revealed the relation between the models singularities and its statistical properties. In this paper, applying this method to Bayesian networks with latent variables, we clarify the order of the stochastic complexities.Our result claims that the upper bound of those is smaller than the dimension of the parameter space. This means that the Bayesian generalization error is also far smaller than that of regular model, and that Schwarzs model selection criterion BIC needs to be improved for Bayesian networks.

研究动机与目标

• 阐明由于参数空间奇异性而导致不可识别和非正则的贝叶斯网络的统计特性。
• 研究含有隐变量的贝叶斯网络的随机复杂度，其中传统Fisher信息方法失效。
• 将基于代数几何的方法扩展至贝叶斯网络中的非正则模型。
• 证明贝叶斯泛化误差显著低于常规模型，从而质疑BIC在这些网络中的有效性。

提出的方法

• 应用代数几取证法分析含有隐变量的贝叶斯网络参数空间中的奇异性。
• 使用奇异学习理论方法计算模型的随机复杂度。
• 通过分析参数空间中奇异性的结构，推导边缘似然的渐近形式。
• 建立随机复杂度的上界，该上界严格小于参数空间的维度。
• 将模型的几何结构与统计特性（特别是学习行为和泛化误差）相关联。
• 证明由于奇异性存在，BIC近似方法在这些模型中失效。

实验结果

研究问题

• RQ1 含有隐变量的贝叶斯网络的随机复杂度是多少？与常规模型相比有何不同？
• RQ2 参数空间中的奇异性如何影响贝叶斯网络的学习与泛化行为？
• RQ3 为何贝叶斯信息准则（BIC）在含有隐变量的贝叶斯网络中失效？
• RQ4 代数几取证法能否用于推导非正则模型中边缘似然的精确渐近近似？
• RQ5 参数空间的几何结构与贝叶斯网络学习的统计特性之间存在何种关系？

主要发现

• 含有隐变量的贝叶斯网络的随机复杂度上界小于参数空间的维度。
• 参数空间中奇异性的存在导致Fisher信息矩阵非半正定，从而破坏标准渐近近似方法的有效性。
• 贝叶斯泛化误差显著低于常规模型，表明其学习性能更优。
• 由于非正则结构的存在，BIC准则在模型选择中被证明不适用。
• 代数几取证法揭示了模型奇异性与统计特性之间的精确关系，从而实现复杂度的精确估计。
• 这些模型的边缘似然渐近行为由实对数正则阈值决定，该阈值决定了随机复杂度。