[论文解读] Structure Learning with Continuous Optimization: A Sober Look and Beyond

Ignavier Ng, Biwei Huang+1 more|arXiv (Cornell University)|Apr 4, 2023

Computational Drug Discovery Methods被引用 5

一句话总结

本文批判性地审视了用于有向无环图（DAG）结构学习的连续优化方法，挑战了以往认为性能由方差排序驱动的观点。研究证明，非凸性与阈值处理是主要挑战，尤其是在非独立同分布（non-i.i.d.）噪声条件下，强调需要超越等方差假设的稳健公式，并改进对稀疏性和边阈值处理的处理方式。

ABSTRACT

This paper investigates in which cases continuous optimization for directed acyclic graph (DAG) structure learning can and cannot perform well and why this happens, and suggests possible directions to make the search procedure more reliable. Reisach et al. (2021) suggested that the remarkable performance of several continuous structure learning approaches is primarily driven by a high agreement between the order of increasing marginal variances and the topological order, and demonstrated that these approaches do not perform well after data standardization. We analyze this phenomenon for continuous approaches assuming equal and non-equal noise variances, and show that the statement may not hold in either case by providing counterexamples, justifications, and possible alternative explanations. We further demonstrate that nonconvexity may be a main concern especially for the non-equal noise variances formulation, while recent advances in continuous structure learning fail to achieve improvement in this case. Our findings suggest that future works should take into account the non-equal noise variances formulation to handle more general settings and for a more comprehensive empirical evaluation. Lastly, we provide insights into other aspects of the search procedure, including thresholding and sparsity, and show that they play an important role in the final solutions.

研究动机与目标

• 研究连续结构学习方法在何种条件下成功或失败，尤其关注方差排序与数据标准化的影响。
• 挑战Reisach等人（2021）提出的观点，即性能主要由边际方差顺序与拓扑顺序的一致性驱动。
• 分析在非等方差噪声设定下，非凸性在非等方差噪声公式中的作用，尽管近期已有进展，该问题仍是主要障碍。
• 评估阈值处理与稀疏性惩罚对最终结构恢复质量的影响。
• 倡导在非等方差噪声设定下进行更全面的评估，并提升搜索的可靠性。

提出的方法

• 在等方差与非等方差噪声设定下分析线性结构方程模型（SEMs），以评估Reisach等人方差排序假设的有效性。
• 构建反例以反驳性能下降归因于方差排序的普遍性主张。
• 通过15个节点的Erdős–Rényi图，对NOTEARS-EV、GOLEM-EV和GDS进行实证评估，测试不同样本量与噪声结构下的表现。
• 对连续优化输出应用阈值处理，测试0.1与0.3两个阈值，以评估边恢复质量。
• 在NOTEARS-EV与GOLEM-EV中比较ℓ₁、SCAD、MCP等稀疏性惩罚，以评估偏差与边恢复性能。
• 使用SHD（结构汉明距离）作为主要指标，评估不同方法与设置下的结构学习准确性。

实验结果

研究问题

• RQ1 根据Reisach等人所述，连续结构学习方法在数据标准化后性能下降是否确实源于方差排序的丧失？
• RQ2 能否构建反例以反驳在等方差噪声设定下，边际方差顺序驱动性能的假设？
• RQ3 尽管近期在DAG约束与搜索策略方面已有进展，为何连续方法在非等方差噪声设定下仍表现不佳？
• RQ4 阈值选择（如0.1与0.3）如何影响连续结构学习中的边恢复与假阳性发现率？
• RQ5 不同稀疏性惩罚（ℓ₁、SCAD、MCP）如何影响NOTEARS-EV与GOLEM-EV等连续结构学习方法的准确性？

主要发现

• 反例表明，即使在等方差噪声设定下，连续结构学习方法的性能也并非普遍由方差排序驱动。
• 数据标准化后的性能下降并非仅由方差排序丧失导致；非等方差噪声设定下的非凸性是更合理的解释。
• 非凸性在非等方差噪声设定下仍是主导性挑战，尽管近期在DAG约束与搜索策略方面已有进展，但性能仍未得到改善。
• 0.1的阈值会导致显著的边移除，尤其是在真实边权重较小时，表明标准阈值可能过于激进。
• 阈值处理可减少由有限样本误差与非凸性引起的假阳性发现，尤其在NOTEARS-EV中表现有益但敏感。
• ℓ₁惩罚因偏差过大而表现欠佳，而SCAD与MCP惩罚则带来更好的边恢复效果，表明非凸稀疏性惩罚在连续结构学习中更为有效。