[论文解读] Selective Greedy Equivalence Search: Finding Optimal Bayesian Networks Using a Polynomial Number of Score Evaluations

David Maxwell Chickering, Christopher Meek|arXiv (Cornell University)|Jun 6, 2015

Bayesian Modeling and Causal Inference参考文献 21被引用 6

一句话总结

本文提出了选择性贪心等价搜索（SGES），它是贪心等价搜索（GES）的一种多项式时间变体，通过基于继承性及等价不变图属性限制边删除算子，保持了大样本一致性。当满足诸如有界v-宽度、最大父节点数或团大小等约束时，SGES在保证渐近最优性的同时，将评分评估次数减少至多项式时间。

ABSTRACT

We introduce Selective Greedy Equivalence Search (SGES), a restricted version of Greedy Equivalence Search (GES). SGES retains the asymptotic correctness of GES but, unlike GES, has polynomial performance guarantees. In particular, we show that when data are sampled independently from a distribution that is perfect with respect to a DAG ${\cal G}$ defined over the observable variables then, in the limit of large data, SGES will identify ${\cal G}$'s equivalence class after a number of score evaluations that is (1) polynomial in the number of nodes and (2) exponential in various complexity measures including maximum-number-of-parents, maximum-clique-size, and a new measure called {\em v-width} that is at least as small as---and potentially much smaller than---the other two. More generally, we show that for any hereditary and equivalence-invariant property $Π$ known to hold in ${\cal G}$, we retain the large-sample optimality guarantees of GES even if we ignore any GES deletion operator during the backward phase that results in a state for which $Π$ does not hold in the common-descendants subgraph.

研究动机与目标

• 解决贪心等价搜索（GES）在学习贝叶斯网络时存在的指数级最坏时间复杂度问题。
• 开发一种GES的变体，使其在满足现实结构约束时能保证多项式时间性能。
• 在通过图论属性限制搜索空间的同时，保持GES的大样本一致性。
• 引入一种新的复杂度度量——v-宽度，其能提供比最大父节点数或团大小更紧致的性能界。
• 证明即使忽略违反已知结构属性的删除算子，SGES仍能保持渐近正确性。

提出的方法

• SGES通过在共同后代子图中排除导致违反已知继承性及等价不变性质Π的状态的边删除算子，限制GES的反向阶段。
• 该算法利用v-宽度这一新图复杂度度量——其值始终≤最大团大小，且≤每个节点的最大父节点数。
• 它要求仅在X、Y及其共同后代的诱导子图中保持Π性质的边删除才被考虑于反向阶段。
• 当结构约束（如有界v-宽度）成立时，该方法可确保评分评估次数在节点数上为多项式时间。
• 其依赖于理论结果：任何保持Π的有效删除算子可被高效识别，且此类算子足以实现渐近最优性。
• 前向阶段未作具体指定，但分析适用于任何仅进行多项式次评分调用的实现。

实验结果

研究问题

• RQ1 能否对GES进行修改，使其在保持大样本一致性的同时实现多项式时间性能？
• RQ2 何种结构约束可使贝叶斯网络结构学习中的评分评估次数保持为多项式？
• RQ3 与现有复杂度度量（如最大父节点数或团大小）相比，新引入的v-宽度度量在限制搜索空间方面表现如何？
• RQ4 是否可仅考虑保持已知图论性质的边删除操作来限制GES的反向阶段，同时不损失最优性？
• RQ5 在何种条件下，可保证仅通过多项式次评分评估即可找到最优等价类？

主要发现

• SGES保证渐近一致性：在大样本极限下，若数据相对于真实DAG ${\cal G}$ 完美，则其可识别出正确的等价类。
• 当生成结构具有有界v-宽度、最大父节点数或最大团大小时，SGES所需的评分评估次数在节点数上为多项式。
• v-宽度是一种新复杂度度量，其值始终≤最大团大小，且≤每个节点的最大父节点数，且能对所需评分评估次数提供更紧的界。
• 即使忽略违反已知继承性及等价不变性质Π的删除算子，SGES仍能保持最优性，该性质存在于共同后代子图中。
• 理论分析表明，当施加约束时，每一步仅需评估多项式数量的边删除算子。
• 只要前向阶段的实现仅进行多项式次评分调用，结果即成立，与具体实现无关。