[论文解读] NTS-NOTEARS: Learning Nonparametric DBNs With Prior Knowledge

Xiangyu Sun, Oliver Schulte+2 more|arXiv (Cornell University)|Sep 9, 2021

Bayesian Modeling and Causal Inference被引用 5

一句话总结

NTS-NOTEARS 提出了一种基于评分的非参数方法，利用一维卷积神经网络（1D CNNs）学习动态贝叶斯网络（DBNs），以建模时间序列数据中的非线性、滞后（跨片）和瞬时（片内）依赖关系。该方法将 NOTEARS 框架扩展至带有无环约束的连续优化，并通过优化约束整合先验知识，在合成数据、基准数据集和真实世界 NHL 冰球比赛数据上实现了最先进水平的 F1 分数（最高提升 20%）。

ABSTRACT

We describe NTS-NOTEARS, a score-based structure learning method for time-series data to learn dynamic Bayesian networks (DBNs) that captures nonlinear, lagged (inter-slice) and instantaneous (intra-slice) relations among variables. NTS-NOTEARS utilizes 1D convolutional neural networks (CNNs) to model the dependence of child variables on their parents; 1D CNN is a neural function approximation model well-suited for sequential data. DBN-CNN structure learning is formulated as a continuous optimization problem with an acyclicity constraint, following the NOTEARS DAG learning approach. We show how prior knowledge of dependencies (e.g., forbidden and required edges) can be included as additional optimization constraints. Empirical evaluation on simulated and benchmark data show that NTS-NOTEARS achieves state-of-the-art DAG structure quality compared to both parametric and nonparametric baseline methods, with improvement in the range of 10-20% on the F1-score. We also evaluate NTS-NOTEARS on complex real-world data acquired from professional ice hockey games that contain a mixture of continuous and discrete variables. The code is available online.

研究动机与目标

• 为解决参数化模型在捕捉时间序列数据中复杂非线性依赖关系方面的局限性，针对动态贝叶斯网络（DBNs）提出改进。
• 开发一种非参数结构学习方法，以同时捕捉 DBNs 中的跨片（滞后）和片内（同步）依赖关系。
• 将先验知识（如禁止或必需的边）作为优化约束整合进结构学习过程。
• 与现有基于评分和基于约束的方法相比，提升 DBN 结构学习在真实世界和基准数据上的准确性与可扩展性。

提出的方法

• 使用一维卷积神经网络（CNNs）建模时间序列数据中子变量与其父变量之间的非线性函数关系。
• 通过在第一层 CNN 权重上建立带无环约束的约束优化问题，将 NOTEARS 连续优化框架适配至 DBNs。
• 基于权重矩阵的行列式构建可微分约束，以确保生成图为有向无环图（DAG）。
• 在优化过程中，通过在第一层 CNN 权重上添加线性不等式约束，将先验知识（如必需或禁止的边）纳入模型。
• 采用 L-BFGS-B 优化算法，高效求解同时包含非线性和先验知识的约束优化问题。
• 从优化后的第一层 CNN 权重中提取 DAG 结构，该权重表示 DBN 中的父-子关系。

实验结果

研究问题

• RQ1 非参数化、端到端可微分方法是否能在时间序列数据的 DBN 结构学习中超越参数化和线性模型？
• RQ2 与基于注意力或 MLP 的模型相比，1D CNN 在建模 DBNs 中复杂非线性时间依赖关系（包括跨片和片内依赖）方面的有效性如何？
• RQ3 在基于连续优化的 DBN 结构学习过程中，先验知识（如禁止或必需的边）在多大程度上可被有效编码并强制执行？
• RQ4 在合成数据和真实世界数据上，NTS-NOTEARS 与最先进基于评分和基于约束的方法相比，在 F1 分数、AUROC 和可扩展性方面表现如何？

主要发现

• 在 Lorenz 96 基准测试中，NTS-NOTEARS 的平均 F1 分数达到 0.996 ± 0.002，显著优于 DYNOTEARS（0.855 ± 0.016）和 TCDF（0.459 ± 0.017），较次优方法提升 14%。
• 在 fMRI 基准测试中，NTS-NOTEARS 的 F1 分数为 0.628 ± 0.023，优于 PCMCI+（0.502 ± 0.045）和 DYNOTEARS（0.475 ± 0.020），表明其在真实世界脑网络数据上的优越性能。
• 在 Lorenz 96 上 AUROC 达 0.811，在 fMRI 上达 0.749，表明其在不同超参数设置下均具备出色的判别性能。
• 在真实世界 NHL 冰球比赛数据上，NTS-NOTEARS 成功识别出关键进球因素，如射门持续时间、距离球门的距离（xAdjCoord(t-1)）和人数优势状态——这些因素因线性 DYNOTEARS 模型无法捕捉非线性关系而被遗漏。
• 该方法在高维时间序列数据中具有更优的可扩展性和准确性，尤其在复杂依赖关系下优于基于约束的 PCMCI+ 方法。
• 整合先验知识（如禁止从进球事件出发的边）可提升模型保真度，并实现与领域特定约束的更好对齐，已在 NHL 应用中得到验证。