[论文解读] Polyhedral aspects of score equivalence in Bayesian network structure learning

James Cussens, David Haws+1 more|arXiv (Cornell University)|Mar 3, 2015

Bayesian Modeling and Causal Inference参考文献 29被引用 27

一句话总结

本文建立了家族-变量多面体的得分等价（SE）面与特征-imset多面体的面之间的一一对应关系，表明SE面对应于极端超模函数。研究证明，尽管在最大化SE目标时可安全省略非SE面，但仅靠SE面不足以实现精确优化——强调即使在家族-变量模型中不构成面的约束，也必须包含来自特征-imset多面体的约束。

ABSTRACT

This paper deals with faces and facets of the family-variable polytope and the characteristic-imset polytope, which are special polytopes used in integer linear programming approaches to statistically learn Bayesian network structure. A common form of linear objectives to be maximized in this area leads to the concept of score equivalence (SE), both for linear objectives and for faces of the family-variable polytope. We characterize the linear space of SE objectives and establish a one-to-one correspondence between SE faces of the family-variable polytope, the faces of the characteristic-imset polytope, and standardized supermodular functions. The characterization of SE facets in terms of extremality of the corresponding supermodular function gives an elegant method to verify whether an inequality is SE-facet-defining for the family-variable polytope. We also show that when maximizing an SE objective one can eliminate linear constraints of the family-variable polytope that correspond to non-SE facets. However, we show that solely considering SE facets is not enough as a counter-example shows; one has to consider the linear inequality constraints that correspond to facets of the characteristic-imset polytope despite the fact that they may not define facets in the family-variable mode.

研究动机与目标

• 在贝叶斯网络结构学习的整数线性规划（ILP）背景下，对得分等价性（SE）进行刻画。
• 在家族-变量多面体的SE面与特征-imset多面体的面之间建立一一对应关系。
• 确定仅靠SE面是否足以在家族-变量模型中实现SE目标的精确优化。
• 阐明来自特征-imset多面体的约束在ILP公式中的作用，即使它们在家族-变量模型中不构成面。
• 提供一种通过对应超模函数的极端性来验证某不等式是否为家族-变量多面体的面定义不等式的有效方法。

提出的方法

• 将家族-变量多面体定义为DAG码（ηG）的凸包，将特征-imset多面体定义为特征-imset的凸包。
• 基于在马尔可夫等价性下的不变性，引入线性目标和家族-变量多面体面的得分等价性（SE）概念。
• 刻画SE目标的线性空间，并建立家族-变量多面体的SE面与标准化超模集合函数之间的对应关系。
• 利用超模函数的极端性来刻画SE面：当且仅当对应超模函数为极端时，不等式为SE面定义不等式。
• 通过证明其对应超模函数为极端，证明广义簇不等式是家族-变量多面体的面定义不等式。
• 在家族-变量多面体的SE面与特征-imset多面体的面之间建立一一对应关系，并推导出特征-imset表示下簇不等式的表达形式。

实验结果

研究问题

• RQ1 在贝叶斯网络结构学习中，哪些线性目标是得分等价的，以及如何从代数上刻画它们？
• RQ2 在得分等价性下，家族-变量多面体的面与特征-imset多面体的面之间存在何种精确关系？
• RQ3 在家族-变量模型中最大化SE目标时，是否可以安全地移除所有非SE面？
• RQ4 SE面是否足以定义家族-变量多面体中SE目标最大化问题的可行区域？
• RQ5 当来自特征-imset多面体的约束在家族-变量模型中不构成面时，它们在ILP公式中起什么作用？

主要发现

• 家族-变量多面体的SE面与特征-imset多面体的面之间存在一一对应关系，且保持包含关系。
• 家族-变量多面体的SE面精确对应于包含1-imset的特征-imset多面体的面。
• 当且仅当对应超模函数为极端时，不等式才是家族-变量多面体的面定义不等式，从而提供了一种优雅的验证方法。
• 通过其对应的极端超模函数，证明广义簇不等式是家族-变量多面体的面定义不等式。
• 构造了一个反例，表明即使移除了所有非SE面，仅使用SE面，最优解仍可能不可行——证明了来自特征-imset多面体的约束是必要的。
• 向量η⋆ = (1+ε)·η†满足所有非负性、修正凸性及SE面约束，但其目标值超过最优值16，证明仅靠SE面不足以实现精确优化。