[论文解读] Structure learning in polynomial time: Greedy algorithms, Bregman information, and exponential families

Goutham Rajendran, Bohdan Kivva+2 more|arXiv (Cornell University)|Oct 10, 2021

Bayesian Modeling and Causal Inference被引用 4

一句话总结

该论文提出了一种基于指数族导出的Bregman信息评分的顶点贪心前向-后向算法，可在多项式时间内学习贝叶斯网络结构。与GES等边贪心方法不同，该算法实现了可证明的多项式时间复杂度，并在合适的评分函数下可恢复真实DAG，统一了基于顺序的方法与基于评分的方法，同时在多种分布下展现出强劲的实验性能。

ABSTRACT

Greedy algorithms have long been a workhorse for learning graphical models, and more broadly for learning statistical models with sparse structure. In the context of learning directed acyclic graphs, greedy algorithms are popular despite their worst-case exponential runtime. In practice, however, they are very efficient. We provide new insight into this phenomenon by studying a general greedy score-based algorithm for learning DAGs. Unlike edge-greedy algorithms such as the popular GES and hill-climbing algorithms, our approach is vertex-greedy and requires at most a polynomial number of score evaluations. We then show how recent polynomial-time algorithms for learning DAG models are a special case of this algorithm, thereby illustrating how these order-based algorithms can be rigourously interpreted as score-based algorithms. This observation suggests new score functions and optimality conditions based on the duality between Bregman divergences and exponential families, which we explore in detail. Explicit sample and computational complexity bounds are derived. Finally, we provide extensive experiments suggesting that this algorithm indeed optimizes the score in a variety of settings.

研究动机与目标

• 解决传统贪心评分方法（如GES）在学习DAG时缺乏多项式时间保证的问题。
• 通过通用贪心框架，将基于顺序的算法（如顺序搜索）与基于评分的方法统一起来。
• 提出一类基于Bregman信息的新评分函数，其分布无关，且适用于多项式时间优化。
• 提供理论与实证证据，证明该算法在特定条件下可全局优化评分函数，尽管该问题在一般情况下为NP难。
• 建立所提算法在各类指数族模型下的计算复杂度与样本复杂度边界。

提出的方法

• 提出一种顶点贪心的前向-后向算法，按拓扑顺序添加顶点，而非边，将评分评估次数减少至变量数量的多项式级别。
• 定义一种基于Bregman信息的通用评分函数，其源于Bregman散度与指数族之间的对偶性，实现分布无关的评分。
• 通过广义可加模型（GAM）或普通最小二乘法估计条件期望，以计算局部评分，并在后向阶段通过阈值化方法剪枝不显著的边。
• 通过选择适当的评分函数，将现有基于顺序的算法（如[22, 10, 23]中的方法）重新解释为所提框架的特例。
• 采用两阶段贪心策略：前向阶段按拓扑顺序添加顶点，后向阶段使用显著性阈值移除非显著边。
• 将该算法应用于线性、高斯、t分布与Gumbel噪声模型，并通过SHD与Bregman评分指标，与Gobnilp、NOTEARS、GDS及GES进行广泛比较。

实验结果

研究问题

• RQ1 贪心DAG结构学习算法是否能在保持一致性与最优性的同时实现多项式时间复杂度？
• RQ2 如何形式化连接基于顺序的算法与基于评分的优化框架？
• RQ3 哪类评分函数可实现贝叶斯网络评分的多项式时间全局优化？
• RQ4 尽管该问题在一般情况下为NP难，所提算法在实际中是否能全局优化评分函数？
• RQ5 所提Bregman信息评分在不同噪声分布与样本规模下的表现如何？

主要发现

• 所提顶点贪心算法的评分评估次数最多为多项式级别，相较于GES等边贪心方法具有显著优势，后者缺乏此类保证。
• 在适当的假设下，使用来自指数族的Bregman信息评分时，该算法可可证明地恢复真实DAG结构。
• 实证结果表明，该算法在多种噪声分布（高斯、t分布、Gumbel分布）与维度（d=20,30）下，SHD均低于GES、GDS与NOTEARS。
• 估计DAG的Bregman评分在每个前向步骤中单调递增，并在后向阶段趋于稳定，表明评分优化有效。
• 在较大图（d>10）中，该算法在计算效率上优于Gobnilp，同时保持了具有竞争力的SHD与评分表现。
• 该方法对非高斯噪声具有鲁棒性，在高斯、t分布与Gumbel分布误差下均表现一致，表明其具有广泛适用性。