[论文解读] Quotient Normalized Maximum Likelihood Criterion for Learning Bayesian Network Structures

Tomi Silander, Janne Leppä-aho+2 more|arXiv (Cornell University)|Aug 27, 2024

Bayesian Modeling and Causal Inference被引用 18

一句话总结

论文介绍 qNML，一种无参数、基于 NML 的得分等价标准，用于学习贝叶斯网络结构，能够产生简约的模型并具强预测准确性，使用 Szpankowski 近似。

ABSTRACT

We introduce an information theoretic criterion for Bayesian network structure learning which we call quotient normalized maximum likelihood (qNML). In contrast to the closely related factorized normalized maximum likelihood criterion, qNML satisfies the property of score equivalence. It is also decomposable and completely free of adjustable hyperparameters. For practical computations, we identify a remarkably accurate approximation proposed earlier by Szpankowski and Weinberger. Experiments on both simulated and real data demonstrate that the new criterion leads to parsimonious models with good predictive accuracy.

研究动机与目标

• 解决贝叶斯网络结构学习中的超参数敏感性和过拟合问题。
• 开发一个得分等价、可分解、无超参数的准则。
• 提供理论保证（一致性、正则性）和实际效率。
• 在多个数据集上对 qNML 与 BIC、BDeu 和 fNML 进行实证比较。
• 证明 qNML 能产生简约但具有预测性的网络。

提出的方法

• 将 s^{qNML}(D;G) 定义为对局部分区的 NML 编码对数比的变量求和。
• 将一部分列建模为单个变量以应用一维 NML 代码。
• 在实现中使用 Szpankowski 与 Weinberger 的回归基础近似来估计 NML 后悔项。
• 证明关键性质：得分等价性（定理1）、一致性（定理2）、某些网络下与 NML 相等（定理3）、以及正则性（定理4）。
• 展示与 fNML 的关系并讨论参数无关行为（定理5）。
• 在 20 个数据集上进行实验，以比较预测性能和模型简约性相对于 BIC、BDeu 和 fNML。

实验结果

研究问题

• RQ1 qNML 是否在等价贝叶斯网络结构之间提供得分等价性？
• RQ2 作为模型选择准则，qNML 是否一致且具有正则性？
• RQ3 在预测准确性和模型简约性方面，qNML 与 BIC、BDeu 和 fNML 相比如何？
• RQ4 在哪些网络或数据情形下 qNML 能紧密近似 NML？
• RQ5 在不同数据集上使用 qNML 时，经验上的权衡（简约性 vs. 准确性）是什么？

主要发现

• qNML 具有得分等价性，对等价网络结构赋予相同的分数。
• qNML 是一致的，在大样本下渐近等价于 BIC。
• 当网络的组件是锦标赛图时，qNML 等于 NML，包括若干实用相关的情况。
• qNML 是正则的，解决了对 BDeu 及相关分数提出的正则性关注。
• 实证结果表明 qNML 在多个数据集上产生简约模型，预测准确性具有竞争力，在其他准则表现不稳定时尤为稳健。
• qNML 为 fNML 提供了稳定的替代方案，在保持预测性能的同时减少模型复杂度。