[论文解读] On the Role of Sparsity and DAG Constraints for Learning Linear DAGs

Ignavier Ng, AmirEmad Ghassami+1 more|arXiv (Cornell University)|Jun 17, 2020

Bayesian Modeling and Causal Inference参考文献 58被引用 57

一句话总结

本文提出 GOLEM，一种基于似然的有向无环图（DAG）学习方法，采用软稀疏性和 DAG 约束以避免硬性循环性约束，并展示其在可识别与不可识别设置下对线性 DAG 的有效性，结合可扩展的基于 GPU 的优化。

ABSTRACT

Learning graphical structures based on Directed Acyclic Graphs (DAGs) is a challenging problem, partly owing to the large search space of possible graphs. A recent line of work formulates the structure learning problem as a continuous constrained optimization task using the least squares objective and an algebraic characterization of DAGs. However, the formulation requires a hard DAG constraint and may lead to optimization difficulties. In this paper, we study the asymptotic role of the sparsity and DAG constraints for learning DAG models in the linear Gaussian and non-Gaussian cases, and investigate their usefulness in the finite sample regime. Based on the theoretical results, we formulate a likelihood-based score function, and show that one only has to apply soft sparsity and DAG constraints to learn a DAG equivalent to the ground truth DAG. This leads to an unconstrained optimization problem that is much easier to solve. Using gradient-based optimization and GPU acceleration, our procedure can easily handle thousands of nodes while retaining a high accuracy. Extensive experiments validate the effectiveness of our proposed method and show that the DAG-penalized likelihood objective is indeed favorable over the least squares one with the hard DAG constraint.

研究动机与目标

• 在各种模型假设下评估硬性 DAG 约束和稀疏性在学习线性 DAG 时的必要性。
• 开发一个基于似然、带有软约束的连续无约束优化框架（GOLEM）。
• 在可识别和非可识别设置下，将基于似然的 GOLEM 与基于回归的 LS 方法以及 NOTEARS 进行比较。
• 展示使用 GPU 加速扩展到数千节点的可扩展性，并在合成数据和真实数据上提供实证验证。

提出的方法

• 形式化带软稀疏性和 DAG 约束的似然分数，得到对权重邻接矩阵 B 的无约束优化问题。
• 使用两个似然目标 L1（方差不相等时的似然）和 L2（方差相等时的似然），并加上一个 L1 惩罚以及一个 DAG 惩罚 h(B) = tr(exp(B ∘ B)) − d。
• 用基于梯度的方法（Adam）求解非凸优化，并从 GOLEM-EV 初始化 GOLEM-NV 以避免陷入不良局部极小值。
• 对边权进行后处理阈值以获得一个 DAG；如有需要，迭代删除循环以产生正确的 DAG。
• 在一般高斯和可识别区间下分析稀疏性和 DAG 约束的理论作用，证明软约束在渐近意义上足以。

实验结果

研究问题

• RQ1 在线性 DAG 学习中，硬 DAG 约束是否比软的基于似然的约束更能提高图的恢复效果？
• RQ2 在何种模型假设下（高斯且方差相等/不相等、高斯非高斯、LiNGAM 可识别性），稀疏性与 DAG 约束能确保恢复出与真实图等价的 DAG？
• RQ3 在可识别和不可识别设置下，基于似然的 GOLEM 与 LS 基于和 NOTEARS 方法在准确性和可扩展性方面的比较如何？
• RQ4 GOLEM 是否能在 GPU 加速下扩展到数千节点，同时在不同图类型（ER 和 SF）及样本量下保持高精度？
• RQ5 权重缩放和有限样本效应对 GOLEM 相对于基线的性能有何影响？

主要发现

• 在温和假设下，具有软稀疏性和 DAG 约束的 GOLEM 渐近地恢复出与真实 DAG 等价的图。
• 在 Gaussian-EV 设置中，稀疏性本身就足以恢复真实 DAG；在 Gaussian-NV 设置中，DAG 正则化成为可靠恢复的必要条件。
• GOLEM-NV 与 GOLEM-EV 在基线方法上具有更好表现，尤在更大更稠密的图上，并且能够在 GPU 加速下处理数千节点。
• 在可识别情况下（类似 LiNGAM 和等噪 Gaussian），基于梯度的 GOLEM 变体在多种噪声类型（高斯、指数、Gumbel）下优于或等于有竞争力的基线。
• GOLEM 相对于 NOTEARS-L1 显示出可扩展性优势，随着图规模增长保持准确性，受益于 GPU 加速的三次方时间计算。
• 后处理阈值化有效地产出无循环图，利用 DAG 惩罚在有限样本中剪枝循环。